[发明专利]一种基于分层负采样的网络表示学习方法

说明书

本发明公开了一种基于分层负采样的网络表示学习方法。该方法包括：针对图网络获取一组随机游走序列，每个游走序列由一组顶点组成；对于每组随机游走序列，对顶点的领域信息进行建模，以确定目标顶点的潜在社区结构；基于所述潜在社区结构，为各顶点计算其为目标顶点的负样本的概率，以采样负样本；基于所采样的负样本优化设定的目标函数，进而确定顶点表示学习向量。本发明可以自适应地发现顶点的潜在社区结构，并根据社区的顶点相关性的概率分布，学习获得更合理的负样本，从而提升顶点表示学习向量的性能。

技术领域

本发明涉及数据挖掘和机器学习技术领域，更具体地，涉及一种基于分层负采样的网络表示学习方法。

应用场景

例如在社交网络中，每个用户可以看成是一个顶点，用户与用户的社交关系可以用顶点间的连接边来表示，当用新的用户出现时候，如何为新用户推荐与之最可能的相关用户，是本发明要处理的场景之一。同理的场景还有在引文网络中，文章可以看成是一个顶点，文章与文章的引用关系可以看成是顶点间的连接边，当有新的文章出现时，如何为该文章检索到与之潜在相关的文章，也是本发明可以处理的场景。

在本发明中，提出了一种基于分层负采样的网络表示学习方法，可以比以往方法学习到更具判别能力的顶点表示向量，即基于顶点的网络结构，把顶点间的关系映射到低维度的向量空间。在获得顶点的表示向量后，可使用简单的判别方法(例如SVM)或聚类方法(Kmeans)，完成顶点分类、链路预测和社群检测等任务。

背景技术

随着社交网络的快速发展，大量网络分析的算法模型被提出。特别是网络表示学习(NRL，又称为网络嵌入方法)展现了在网络分析任务中的有效性。网络表示学习旨在将顶点和边，通过编码映射到低维度的向量空间，进而对图网络进行建模。这些学习到的顶点和边的表示向量可用于后续应用，例如顶点分类、链路预测和社群检测等。负采样(NS)常被用于提高网络表示学习的性能。然而，目前的研究工作通常只是基于顶点频率来随机采样负样本，即频率较高的顶点更有可能被采样到，这导致了采样到的顶点可能不是真正的负样本，使得学习到的顶点和边的表示向量，在用于后续应用时达不到令人满意的性能。此外，利用网络中的社群分布和文档中的主题分布之间的相似性，可以将顶点的邻域信息建模为潜在的主题分布结构，因此本发明也与主题建模方法相关。

在下文中，将分别介绍网络表示学习、基于负采样的网络表示学习以及与网络表示学习相关的主题建模的相关研究。

1)网络表示学习

目前，存在多种类型的网络表示学习方案。例如，DeepWalk方法通过随机游走来探索网络中的结构信息，获取的游走序列可用Skip-Gram模型学习网络嵌入向量。又如，提出了一种通用的图嵌入方法，可以显式地校准顶点间的距离，以保持嵌入空间中的顶点间的相似性。总结来说，目前DeepWalk，LINE，Node2vec，DRNE，AROPE等方法被提出用于探索网络的拓扑结构，这些方法根据不同的任务去优化相应的目标函数，但都局限于使用负采样方法，即采样负样本来计算基于Skip-Gram的目标函数。为此，一些学者们提出了负采样的替代方案，如层次Softmax方法和噪声对比估计方法，但现有文献说明负采样通常比替代方案在网络表示学习的任务上表现更好。此外，所有这些替代方法和负采样都有一个共同的局限性，即是从顶点的固定分布中来采样负样本，因此，不能动态地挑选更合理的负样本。

2)基于负采样的网络表示学习