[发明专利]一种改善大型图卷积神经网络的训练效率的方法

说明书

本发明公开了一种改善大型图卷积神经网络的训练效率的方法，包括以下步骤：(1)划分图结构：将大规模深度图卷积神经网络对应的图像结构分为若干个区域；(2)训练图神经网络：使用数据训练图神经网络并进行训练迭代。本发明通过对图卷积网络中的节点使用算法进行分区，然后利用相同分区内节点之间链接程度较高的特点加快训练效率，相比于其他没有对节点分区的方法，本方案在减少计算过程中存储容量和降低计算复杂性问题的方面有明显的优势。

技术领域

本发明涉及图卷积网络训练技术领域，具体涉及一种改善大型图卷积神经网络的训练效率的方法。

背景技术

目前针对图卷积网络训练的主流方法，有以下几种：Full-batch梯度下降、Mini-batch随机梯度下降、VR-GCN。设N表示图的节点数、F表示嵌入层的维度、L表示图的网络的层数。

Full-batch梯度下降：需要存储所有中间嵌入层的结果，需要O(NFL)空间复杂度，所以这种方法不具备扩展性，只适用于较为简单的图卷积网络。由于每个数据迭代周期参数只被更新一次，所以梯度下降的收敛速度很慢。

Mini-batch随机梯度下降：相比与Full-batch梯度下降，每个迭代周期基于Full-batch梯度，显著减少了内存需要，收敛速度有所加快。但是存在临界扩张问题，计算L层的单节点损失需要该节点位于L-1层的临近节点，L-1层节点的单节点需要位于L-2层的临近节点，如此循环到下游层，使得时间复杂度随着层数而指数级增长。针对这个问题，现有的方法解决方法是在反向传播的过程中使用固定大小的值对邻接数据采样或者只对重要数据进行采样，但是当图卷积神经网络深度增加时，使用该方法的代价仍然很大。所以当层数过深时，该方法将不再适用。

VR-GCN:使用减少变量技术来减少邻接数据采样节点数。虽然成功减少了采样的规模，但需要存储所节点的中间嵌入层在内存中，空间复杂度可以表示为O(NFL)。如果图网络的节点数增加到数百万个，那么GPU难以满足该方法需要的内存容量。所以该方法在每个数据迭代周期花费的时间、每个数据迭代周期的收敛速度方面性能较好，但是在内存使用量方面的性能较差。

发明内容

本发明的目的在于提供一种提高图卷积神经网络训练效率的方法，以解决现有训练方案中存在计算复杂度过高，需要存储容量大、收敛速度慢的问题。为了实现上述目的，本发明提供了如下技术方案：

第一方面，在训练神经网络之前，先对构成神经网络的图的节点进行划分，划分为若干个节点分区，分同一分区中节点之间的连接程度更大，不同分区的节点之间连接程度较小。

所述的图节点划分具体内容为，对由大量节点和边组成的大规模的图行进行划分，划分的目的是将图分为大致相等的p个部分，各部分之间边的连接关系尽量最小。当图的节点和规模比较大时，直接对图进行划分性能会很差，这也是已有解决方案的性能比较差的原因。包括以下几个步骤：

第一步，简化图结构，通过合并部分顶点和边，将该部分用一个节点代替，从而减小图的节点和边的数目，这个步骤包含多个迭代的过程，最终的目的是将图的节点数简化到百位数；

第二步，划分图结构，对简化后的图结构划分，最总通过划分得到c个分区；

第三步，细化图结构，图像完成划分后，将简化图还原到原图的过程。

所述第一方面中所述第一步的简化图结构步骤中，以随机顺序遍历顶点，假设从u开始，如果u还未与其他顶点相匹配，那么在u的邻接顶点中选择一个同样未与其它顶点匹配的顶点v,将未匹配的顶点u和与它相邻的未匹配的顶点v相互匹配；如果u没有可以匹配的邻接顶点，那么顶点u保持未匹配状态；然后将已经匹配的两个顶点合并为一个顶点，未匹配的顶点保留，这些顶点构成一次粗化后的图。重复这一过程，直到原图被粗化为节点在几百个左右的图。