FrankLearningMachine作家

ICML2019 | 深度进修始祖之一Bengio提出并开源图马尔科夫神经收集

GMNN: Graph Markov Neural Networks

Meng Qu,Yoshua Bengio,Jian Tang

Montreal Institute for Learning Algorithms (MILA), University of Montreal, Canadian Institute for Advanced Research (CIFAR), HEC Montreal

http://proceedings.mlr.press/v97/qu19a/qu19a.pdf

本文主要研讨联系数据中的半监视对象分类,该题目联系数据修模中是比较基本的题目。基于统计的联系进修(如联系马尔科夫收集)和图神经收集(如图卷积收集)的相关文献中,对该题目举行了广泛的研讨。

基于统计的联系进修方法,应用条件随机场可以进修对象标签之间的依赖性,然后举行集团分类,而图神经收集可以举行端到端的教练。这篇作品提出了图马尔科夫神经收集(GMNN),该收集可以联合二者的优势。

GMNN用条件随机场对对象标签的联合分布举行修模,此中条件随机场可以应用变分EM(希冀最大)算法举行有用教练。

E -Step中,图神经收集可以学到有用的对象外示,该外示可以近似对象标签的后验分布。 M -Step中,另一个图神经收集用于对部分标签依赖举行修模。

对象分类、链道分类和无监视节点外示进修上的实行外明,GMNN 取得了最好的结果。

基于条件随机场的方法有少许缺乏,比如

(1)这些方法一般将条件随机字段中的势函数定义为某些人工计划的特征函数的线性组合,这些函数是启示式的。而且,这种模子的外达才能比较有限。

(2)因为对象之间的联系构造比较繁杂,对未标记对象的标签的后验分布举行推测仍然具有必定的挑衅性。

基于图的神经收集也有少许缺乏,一个要害的限制即为对象的标签是依据其外示方式独立预测的,云云一来,对象标签之间的联合依赖项会被疏忽。

变分EM框架中,E-step用于推理,M-step用于进修。进修进程中,GMNN的教练进程不是最大化似然函数,而是优化伪似然函数,并应用图神经收集对对象标签的部分条件分布举行修模。这种图神经收集可以比较好地进修对象标签的依赖性,而且不需求人工计划势函数。

推理进程中,因为准确推理比较难解,可以应用均值场近似值来办理。

受摊销推理的启示,作家们应用另一个图神经收集对对象标签的后验分布举行修模, 进而可以进修有用的对象外示用于预测对象的标签。推理进程中,应用图神经收集,可以分明淘汰参数的数目,而且推理中的差别对象之间可以共享统计证据。

半监视对象分类的题目描画如下

简言之即为,已知部分标签推测未知的标签。

统计联系进修中,题目描画如下

图神经收集中,题目描画如下

因为许众对象的标签是未知的,于是可以将最大化对数似然函数转化为求其证据下界(ELBO),此时求解可以瓜代施行变分E-Step和M-Step。

为了避免盘算配分函数,可以优化下面的伪似然函数,该似然函数基于样本点的邻域样本集。

推理进程中,因为标签之间的繁杂依赖联系,直接推理后验分布比较难,于是可以基于平均场方法来办理。

关于未知标签的对象,应用采样来取得,而关于已知标签的对象,直接应用其实标签。实行状况中应用一个采样即可。

进修进程中只需求进修条件分布,不需求人工特征。

为了对差别对象之间的长程依赖举行修模,可以应用众新闻传输层。

优化算法伪代码如下

全体框架图示如下

实行中,针对对象分类义务,每个类中有20个有标签的样本,器量标准为准确率。

数据集新闻统计如下

对象分类中几种算法的效果比照如下

无监视节点外示进修中几种算法效果比照如下

对象分类题目中,参数修立如下

无监视节点外示进修中参数修立如下

链接分类中参数修立如下

链接分类题目中几种方法的效果比照如下

差别构造下摊销推理的结果比照如下

收敛性剖析图示如下,容易看出收敛速率很速

代码地址

https://github.com/DeepGraphLearning/GMNN

板滞进修blog
板滞进修blog

本专栏笃志于板滞进修(主要包罗但不限于深度进修)相关常识分享,此中涉及自然言语处理以及图像处理前沿论文等,接待大师体恤交换

表面图神经收集BengioICML 2019
3
暂无评论
暂无评论~