√梳理图神经网络(GNN)领域的经典模型
√帮助读者构建图神经网络知识体系
√厘清重要模型的设计思路和技术细节
√展现图神经网络的研究进展
√图神经网络在推荐系统、生物医疗、自然语言处理等不同场景的实践
图神经网络是人工智能领域的一个新兴方向,它不仅迅速得到了学术界的广泛关注,而且被成功地应用在工业界的多个领域。本书介绍了图神经网络和图深度学习的基础知识和前沿研究,不仅包括它们的发展历史和经典模型,还包括图神经网络在深层网络、无监督学习、大规模训练、知识图谱推理等方面的前沿研究,以及它们在不同领域(如推荐系统、生化医疗、自然语言处理等)的实际应用。 本书既可作为人工智能领域研究和开发人员的技术参考书,也可作为对图上的深度学习感兴趣的高年级本科生和研究生的入门书。
第 1 章 当深度学习遇上图:图神经网络的兴起 1
1.1 什么是图1
1.2 深度学习与图 2
1.2.1 图数据的特殊性质 3
1.2.2 将深度学习扩展到图上的挑战 4
1.3 图神经网络的发展 5
1.3.1 图神经网络的历史 5
1.3.2 图神经网络的分类 7
1.4 图神经网络的应用 8
1.4.1 图数据上的任务 8
1.4.2 图神经网络的应用领域 8
1.5 小结 11
第 2 章 预备知识 13
2.1 图的基本概念 13
2.2 简易图谱论 15
2.2.1 拉普拉斯矩阵 16
2.2.2 拉普拉斯二次型 17
2.2.3 拉普拉斯矩阵与图扩散 18
2.2.4 图论傅里叶变换 19
2.3 小结 20
第 3 章 图神经网络模型介绍 21
3.1 基于谱域的图神经网络 21
3.1.1 谱图卷积网络 21
3.1.2 切比雪夫网络 24
3.1.3 图卷积网络 25
3.1.4 谱域图神经网络的局限和发展 27
3.2 基于空域的图神经网络 28
3.2.1 早期的图神经网络与循环图神经网络 28
3.2.2 再谈图卷积网络 29
3.2.3 GraphSAGE:归纳式图表示学习 31
3.2.4 消息传递神经网络 34
3.2.5 图注意力网络 37
3.2.6 图同构网络:Weisfeiler-Lehman 测试与图神经网络的表达力 39
3.3 小试牛刀:图卷积网络实战 42
3.4 小结 46
第 4 章 深入理解图卷积网络 47
4.1 图卷积与拉普拉斯平滑:图卷积网络的过平滑问题 47
4.2 图卷积网络与个性化 PageRank 50
4.3 图卷积网络与低通滤波 52
4.3.1 图卷积网络的低通滤波效果 52
4.3.2 图滤波神经网络 54
4.3.3 简化图卷积网络 55
4.4 小结 56
第 5 章 图神经网络模型的扩展 57
5.1 深层图卷积网络 57
5.1.1 残差连接 58
5.1.2 JK-Net 60
5.1.3 DropEdge 与 PairNorm 60
5.2 图的池化 61
5.2.1 聚类与池化 62
5.2.2 可学习的池化:DiffPool 63
5.2.3 Top-k 池化和 SAGPool 65
5.3 图的无监督学习 67
5.3.1 图的自编码器 67
5.3.2 最大互信息 70
5.3.3 其他 72
5.3.4 图神经网络的预训练 72
5.4 图神经网络的大规模学习 74
5.4.1 点采样 75
5.4.2 层采样 76
5.4.3 图采样 78
5.5 不规则图的深度学习模型 80
5.6 小结 81
第 6 章 其他图嵌入方法 83
6.1 基于矩阵分解的图嵌入方法 83
6.1.1 拉普拉斯特征映射 83
6.1.2 图分解 84
6.2 基于随机游走的图嵌入方法 86
6.2.1 DeepWalk 86
6.2.2 node2vec 87
6.2.3 随机游走与矩阵分解的统一 88
6.3 从自编码器的角度看图嵌入 88
6.4 小结 89
第 7 章 知识图谱与异构图神经网络 91
7.1 知识图谱的定义和任务 92
7.1.1 知识图谱 92
7.1.2 知识图谱嵌入 92
7.2 距离变换模型 94
7.2.1 TransE 模型 94
7.2.2 TransH 模型 95
7.2.3 TransR 模型 96
7.2.4 TransD 模型 97
7.3 语义匹配模型 97
7.3.1 RESCAL 模型 98
7.3.2 DistMult 模型 98
7.3.3 HolE 模型 98
7.3.4 语义匹配能量模型 99
7.3.5 神经张量网络模型 99
7.3.6 ConvE 模型 100
7.4 知识图谱上的图神经网络 100
7.4.1 关系图卷积网络 100
7.4.2 带权重的图卷积编码器 101
7.4.3 知识图谱与图注意力模型 102
7.4.4 图神经网络与传统知识图谱嵌入的结合:CompGCN 103
7.5 小结 103
第 8 章 图神经网络模型的应用 105
8.1 图数据上的一般任务 105
8.1.1 节点分类 106
8.1.2 链路预测 106
8.1.3 图分类 107
8.2 生化医疗相关的应用 108
8.2.1 预测分子的化学性质和化学反应 108
8.2.2 图生成模型与药物发现 109
8.2.3 药物/蛋白质交互图的利用 116
8.3 自然语言处理相关的应用 117
8.4 推荐系统上的应用 121
8.5 计算机视觉相关的应用 123
8.6 其他应用 124
8.7 小结 124
参考文献 127
图结构的数据广泛存在于现实世界中,如何将图数据的学习与深度学习技术结合,成了人工智能领域研究的热点之一。本书作者是图神经网络领域的专家,对整个领域有着深刻的理解。本书不仅系统地讲解了图神经网络的基础知识,还深入探讨了图神经网络存在的问题和研究进展,是一本适合入门又给人启发的佳作。
IEEE Fellow/AAAS Fellow,吴信东
将深度学习扩展到图上是人工智能领域的一个重大突破。图结构的数据无处不在,这使得图神经网络的重要性不言而喻。马腾飞从几年前开始专注于图神经网络的研究,在图神经网络的加速训练、生成模型、粗化、动态图上的扩展等方面做出了很有影响力的工作。我与他有过不少合作,我们将图神经网络应用在医疗领域。本书以图神经网络的发展历史为脉络,深入浅出地讲解了常见的图神经网络模型和遇到的问题,以及解决方案。同时,本书包含了大量的实际应用场景,非常适合相关从业者和学生参考。
伊利诺伊大学厄巴纳-香槟分校(UIUC)计算机系教授,孙冀萌
图神经网络的技术飞速发展,在自然语言处理领域也得到了极大的关注和广泛的应用。本书覆盖了与图神经网络相关的大部分重要模型,并提供了很多应用示例,是一本非常不错的入门书,从事自然语言处理相关工作的读者会从中受益。
伊利诺伊大学厄巴纳-香槟分校(UIUC)计算机系教授,季姮
随着海量图数据的不断积累,图神经网络的相关技术得到了很大发展,并在很多行业的实际应用中产生了深远的影响。本书不仅系统地介绍了图神经网络的基础知识,而且详细描述了其在推荐系统、生物化学、医疗药物等不同场景的实践。对于想了解图神经网络的学生和从业者来说,是非常宝贵的学习资料!
腾讯AI Lab机器学习中心总监,黄俊洲
本书完整地介绍了神经网络在图数据学习上的理论和应用,无论是初学者,还是有一定实践经验的读者,阅读本书后都将受益良多。
罗格斯大学(Rutgers)计算机系教授,高洁
本书非常全面地介绍了与图神经网络有关的背景知识、基础理论、典型框架及在知识图谱、生物医学、推荐系统等方面的相关应用,适合读者系统学习和了解该领域前沿知识,相信可以让读者从中获益。
清华大学计算机系副教授,刘知远
图神经网络是深度学习最近产出的大杀器,也是符号与神经结合的集大成者。马腾飞博士凭借其多年来在图神经网络方面的科研积累与实战经验,为读者奉献了一本精彩的技术书籍。强烈力荐给想了解图神经网络或有志于在这个方向深入探索的科研工作者和工业实践者阅读。
同济大学百人计划特聘研究员,OpenKG创始人之一,王昊奋