[发明专利]一种支持高阶邻近性的大规模网络嵌入方法与装置

权利要求书

1.一种支持高阶邻近性的大规模网络嵌入方法，其特征在于：方法包括四个步骤：步骤一：应用重启式随机游走器，生成实体序列样本，并在同时依据均匀采样策略，获取负样本；步骤二：利用步骤一生成的样本，提取局部相似性，同时，运用一个自学习的深度神经网络组件，提取全局等价性；步骤三：通过联合优化器同时学习局部相似性和全局等价性，综合步骤二中的高阶邻近信息，计算联合目标函数后，进行随机梯度下降优化，更新模型参数和嵌入向量；步骤四：重复上述过程，直至达到设定迭代次数，最后输出包含高阶临近性质的嵌入向量，提高网络实体分类、关系预测、智能推荐等多种下游任务的准确率。

2.如权利要求1所述的一种支持高阶邻近性的大规模网络嵌入方法，其特征在于：所述随机游走器采用构造高阶临近矩阵的方法设计重启式随机游走器，生成实体序列样本，所述高阶临近矩阵的构造方法为：将归一化邻接矩阵记为A，表示一阶邻近矩阵，表示网络上随机游走的一步转移概率，之后，将其推广到k阶近似A^k，高阶邻近矩阵可表示为：

D＝β₁A+β₂A²+…+β_kA^k,k＝1,2,…

其中，β_k为控制k阶邻近A^k的权重，代表k阶邻近的整体影响力，

在随机游走的每一步，游走器会以一个人工设定的个性化概率α返回起始实体，重启式随机游走器的转移概率递归的定义为：

P^k＝αI+(1-α)P^k-1A,k＝1,2…

其中，P^k为k步重启式随机游走器生成的概率矩阵，P⁰＝I，I为单位矩阵)，A是常规单步随机游走的概率转移矩阵，等价地：

应用重启式随机游走器后，高阶邻近矩阵的计算转变为：

而各步转移权重，则由函数决定。

3.如权利要求2所述的一种支持高阶邻近性的大规模网络嵌入方法，其特征在于：所述局部相似性的提取方法为：对于所述高阶邻近矩阵D，记D_i,j为从不同层次的范围综合考虑的实体对(v_i,v_j)之间的局部相似性，如果D_i,j＞0，则实体v_i和实体v_j之间存在相似性，且D_i,j越大，代表两实体越相似；如果D_i,j＝0，则实体间没有相似性；定义一个余弦距离来衡量两嵌入向量的局部相似性：

其中，v_i和v_j是实体v_i和实体v_j的嵌入向量，之后，对所有的实体对计算如下目标函数：

当D_i,j很大时，会使得实体v_i和实体v_j的嵌入向量相似性越趋近1，而当D_i,j＝0时，则推动嵌入向量相似性向0靠近。

4.如权利要求3所述的一种支持高阶邻近性的大规模网络嵌入方法，其特征在于：所述全局等价性的提取方法为：如果D_i＝(D_i,1,D_i,2,…,D_i,|V|)，同时D_j＝(D_j,1,D_j,2,…,D_j,|V|)，v_i和v_j总是有如下等式存在：

则得出v_i和v_j在全局结构上扮演着同等角色的结论，称这种信息为全局等价性，为了保持全局等价性，设计一个自监督组件：全局等价性预测器φ(·)，由多个非线性层组成的神经网络，用于预测输入实体的全局等价性，其以实体的嵌入向量v_i为输入，输出一个φ(i)∈R^1×|V|的输出，该输出为对D_i的预测。

训练所述自监督组件的损失函数为：