大语言模型像理解文本一样理解图

大语言模型像理解文本一样理解图
大语言模型直接理解复杂图结构的新方法来了：

将图（Graph）转换为适合Transformer架构的线性token序列。

最新图线性化方法，反映了自然语言中局部依赖性和全局对齐性两个关键属性，即：

不仅需要保留基于前文上下文预测下一个token的能力（局部依赖性），而且不同图的token序列应该从具有相似特征的token开始或结束（全局对齐性），就像自然语言文本经常以特定词语开头或结尾。

如此一来，在海量文本数据上训练的LLM也能更好地理解图结构中的关系和属性，如节点计数、最大度数计算和图式形状分类等图推理任务都能完成。

具体如何实现？

机器学习工程师Rohan Paul发帖推荐论文并做了个总结：用多种技术开发了图线性化方法：图中心性（PageRank和度）、图退化（k-core分解）、节点重标记方案；基于节点重要性创建了边排序策略；应用节点重标记以保持全局对齐。

作者使用GraphWave合成数据集进行评估，结果表明他们提出的线性化方法相比基线方法取得了更好的性能，特别是基于度中心性和PageRank的方法在多个任务中表现突出。
图结构转文本序列，大模型直接读懂！图推理性能大涨