[发明专利]一种基于深度神经网络的网络表示学习方法

权利要求书

1.一种基于深度神经网络的网络表示学习方法，其特征在于包括如下步骤：

1)首先在网络中进行随机游走，得到节点序列；

2)然后结合节点在节点序列中的位置信息，将节点序列中的各个节点转换成特征向量；

3)基于深度双向转换编码器建立学习模型，将步骤2)经过处理的节点序列输入到学习模型中进行训练，得到网络中节点的表示向量。

2.根据权利要求1所述的基于深度神经网络的网络表示学习方法，其特征在于：所述的步骤1)具体如下：设定网络G＝(V，E)，其中V是网络中的节点，E是它的边，|V|表示网络中节点的数量；对于网络G，每次采样随机挑选一个顶点v_i作为随机游走的根节点，i的取值范围为[0，|V|-1]；一次游走从节点的邻居开始，到达最大长度t结束，从而得到由节点构成的节点序列S_j，j的取值范围为正整数；如下式所示：

S_j＝v₁，v₂，...，v_t (1)

对于每个节点，需要进行γ次长度为t的随机游走，其中i的取值范围为[0，|V|-1]，j为正整数，γ的取值范围为[5，1000]，t的取值范围为[10，1000]。

3.根据权利要求1所述的基于深度神经网络的网络表示学习方法，其特征在于：所述的步骤2)具体如下：

(21)对于一个由节点构成的节点序列S_j，对序列中的每个节点根据其在节点序列中的位置进行编号，从0到t-1，并将位置信息转化为向量，得到节点的位置表示X_i；

(22)对节点的特征向量进行随机初始化，得到节点表示

(23)定义学习模型的输入表示为X′_i，包含节点的位置表示X_i和节点表示两部分，处理后的节点序列用S′_j表示，如下式所示：

S′_j＝X′₁，X′₂，...，X′_t (2)。

4.根据权利要求1所述的基于深度神经网络的网络表示学习方法，其特征在于：所述的步骤3)分为预训练和微调两个过程，具体如下：

(31)预训练过程

为了训练模型并得到节点的向量表示，采用BERT模型中提出的masked LM方法，即随机隐藏一定比例的输入节点，然后预测那些隐藏的节点；

(32)微调过程

在微调阶段，使用节点的标签信息进行训练。

5.根据权利要求4所述的基于深度神经网络的网络表示学习方法，其特征在于：所述的步骤(31)具体如下：

S1.在每个节点序列中随机选取一定比例a的隐藏节点用于预测，部分或全部使用隐藏标记[MASK]替换这些节点，a的取值范围为[0.1，0.2]；经过处理的节点序列为S′_j，随机隐藏一定比例a的输入节点后的节点序列S″_j为

S″_j＝X′₁，X′₂，...，[MASK]，...，X′_t (3)

S2.与隐藏节点v_i相对应的特征向量被输入到输出的Softmax中，可以得到其概率向量为如下式所示：

其中表示用于分类的输出层中的权重，|V|表示网络中节点的数量，d是一个比较小的隐式向量的维度；

定义节点v_i对应的one-hot向量表示为损失函数定义如下：

其中i的取值范围为[0，|V|-1]，具体取值为节点序列S″_j中隐藏的节点对应的编号。