[发明专利]一种基于共生注意力表示学习的服务分类方法

权利要求书

1.一种基于共生注意力表示学习的服务分类方法，其特征在于：包括如下步骤：

S100：从公开数据集中选取部分web服务作为训练集，训练集中的每个web服务都有确定的服务类别，对训练集中包含的所有服务类别进行顺序编号；

S200：从该训练集中任选一个Web服务作为训练样本，该训练样本包括服务描述和服务名称；

S300：对每个训练样本从其服务描述中提取服务信息词，具体步骤如下：

S310：设服务描述中有E个原单词，对E个原单词进行标记化处理，此处的“标记化处理”是指将每个单词用空格隔开；

S320：根据英语停用词列表删除E个原单词中的停用词，剩余的原单词个数为Z，并对Z个原单词进行词干提取，如果词干出现重复，则只保留一个，最终得到G个单词词干；

S330：计算G个单词词干的信息增益得分，具体公式如下：

其中，N表示该训练集中服务类别的数量，C_k表示类别，P(C_k)表示类别C_k的概率，P(w)表示单词词干w存在的概率，表示单词词干w不存在的概率，P(C_k|w)表示存在单词词干w时类别C_k的条件概率，表示不存在单词词干w时类别C_k的条件概率；

其中，各项计算表达式如下：

其中，num(C_k)表示在类别C_k上的服务数量，表示所有类别包含的服务总数，表示在类别C_i中的服务描述中带有单词词干w的服务数量，表示所有类别包含的服务总数中的服务描述中带有单词词干w的服务总数，为服务描述中未包含单词词干w的服务总数；

S340：根据信息增益得分将G个单词词干进行降序排列，选择前J个单词词干作为服务信息词的提取结果；

S400：对每个训练样本构建描述特征矩阵D，具体步骤如下：

S410：设服务描述中包含的单词数量为n₁，将服务描述作为BERT模型的输入，输出为服务描述的单词序列和长度为n₁的k₁维服务描述嵌入矩阵，具体表达式如下：

Y₁＝f_{bert_seq}(X₁)

其中，Y₁表示服务描述嵌入矩阵，X₁表示服务描述；

S420：采用双向LSTM提取服务描述特征，具体步骤如下：

S421：计算所述服务描述中第i个单词的隐藏状态h_i，具体表达式如下：

其中，a_i是服务描述嵌入矩阵Y₁中第i个单词的k₁维词向量，h_i是LSTM中第i个单词的隐藏状态，表示第i个单词前向传播的隐藏状态，表示第i个单词后向传播的隐藏状态，表示第i个单词的前一个单词的前向传播存储单元，表示第i个单词的前一个单词的前向传播隐藏状态，表示第i个单词的后一个单词的后向传播存储单元，表示第i个单词的后一个单词的后向传播隐藏状态；

S422：重复S421，计算得到服务描述中所有单词的隐藏状态，并进行拼接，得到服务描述的特征矩阵D，具体表达式如下：

S500：对每个训练样本构建服务信息词特征矩阵I，具体步骤如下：

S510：将步骤S340得到的J个服务信息词作为BERT模型的输入，输出为长度为n₂的k₂维服务信息词嵌入矩阵Y₂，具体表达式如下：

Y₂＝f_{bert_seq}(X₂)

其中，Y₂表示服务信息词嵌入矩阵，X₂表示服务信息词；

S520：采用2-D CNN卷积函数提取服务信息词的特征，具体步骤如下：

S521：为服务信息词嵌入矩阵Y₂增加一个额外维度得到Y₂′，即此时的卷积核为其中，1表示额外的维度，p₁表示卷积核包含的信息词向量的维度，q₁表

示卷积核包含的信息词的个数；

S522：计算Y₂′中服务信息词的局部特征c_{i′，j′，1}，表达式如下：

其中，e_u，v，1表示服务信息词中的第u个词相对应的v维词向量，u∈[i，i+p₁-1]，v∈[j，j+q₁-1]，b表示偏置项，i′表示Y₂′中的信息词，j′表示信息词i′对应的维度，j′＝1，2，...，k₂；

S523：应用数量为t的卷积核和卷积核数量为t时的服务信息词的局部特征得到局部特征c_{i″，j″，1}，具体表达式如下：

其中，c_{i″，j″，1}表示卷积核数量为1时的服务信息词的局部特征，p₂为卷积核数量为1时卷积核包含的信息词向量的维度，q₂为卷积核数量为1时的卷积核包含的信息词的个数；

S524：压缩Y₂′中额外的一个维度，得到Y₂中服务信息词的局部特征c_i″，j″，拼接所有局部特征得到信息词特征矩阵I，表达式如下：

S600：对每个训练样本构建服务名称特征矩阵S，具体步骤如下：

S610：将服务名称作为BERT模型的输入，输出为长度为n₃的k₃维服务名称嵌入矩阵Y₃，具体表达式如下：

Y₃＝f_{bert_seq}(X₃)

其中，Y₃表示服务名称嵌入矩阵，X₃表示服务名称；

S620：采用2-D CNN提取服务名称的特征，具体步骤如下：

S621：为服务名称嵌入矩阵Y₃增加一个额外维度得到Y₃′，即此时的卷积核为其中，1表示额外的维度，p₁表示卷积核包含的服务名称词向量的维度，q₁表示卷积核包含的服务名称中词的个数；

S622：计算Y₃′中服务名称的局部特征d_{i′，j′，1}，表达式如下：

其中，s_u，v，1表示服务名称中的第u个词相对应的v维词向量，u∈[i，i+p₁-1]，v∈[j，j+q₁-1]，b表示偏置项，i′表示Y₃′中的服务名称，j′表示信息词i′对应的维度，j′＝1，2，...，k₂；

S623：应用数量为t的卷积核和卷积核数量为t时的服务名称的局部特征得到局部特征d_{i″，j″，1}，具体表达式如下：

其中，d_{i″，j″，1}表示卷积核为1时的服务名称的局部特征，p₂为卷积核为1时的包含服务名称词向量的维度，q₁为卷积核为1时的卷积核包含的服务名称中词的个数；

S624：压缩Y₃′中额外的一个维度，得到Y₃中服务名称的局部特征d_i″，j″，拼接所有局部特征得到服务名称特征矩阵S，表达式如下：

S700：将每个训练样本对应的信息词特征矩阵I和名称特征矩阵S进行融合，获得增强数据特征矩阵A，表达式如下；

S800：对每个训练样本计算服务特征相关矩阵F，具体表达式如下：

F＝tanh(A^TUD)

其中，服务描述特征矩阵D∈R^d*p，服务增强数据矩阵参数矩阵U∈R^d*d，服务特征相关矩阵F∈R^p*q；

S900：对每个训练样本计算r^A和r^D，具体步骤如下：

S910：对服务特征相关矩阵F执行最大池化操作，得到服务增强数据和服务描述具体表示如下：

S920：计算的服务语义向量g^A和的服务语义向量g^D，具体表达式如下：

其中，g^A∈R^p，g^D∈R^q

S930：对得到的g^A和g^D服务语义向量采用softmax激活函数进行转化，得到服务增强数据注意力向量a^A和服务描述注意力向量a^D，具体表达式分别如下：

a^A＝softmax(g^A)

a^D＝softmax(g^D)

其中，a^A∈R^p，a^D∈R^q；

S940：计算a^A的服务表示向量rA和a^D的服务表示向量r^D，具体表达式分别如下：

r^A＝A*a^A

r^D＝D*a^D

其中，A为增强数据特征矩阵，D为服务描述特征矩阵，a^A表示服务增强数据注意力向量，a^D表示服务描述注意力向量；

S1000：对每个训练样本计算相对应的预测向量L，其中，L为N维的向量，L中包含的所有概率值是按照服务类别的顺序编号进行排列，选择其中最大的概率值所对应的服务类别作为最终的服务类别预测结果，L具体表达式如下：

L＝softmax(f_fc(r^A+r^D))

其中，f_fc表示全连接层神经网络；

S1010：根据S1000的结果采用梯度下降反向传播的方式对S200-S800步骤中所用到的参数进行更新，当训练达到预设的最大迭代次数，模型训练完毕，得到训练好的服务分类模型；

S1020：对一个未知类别的待预测web服务进行服务分类预测，具体步骤如下：

S1030：采用S300的方法从待预测服务描述中提取服务信息词；

S1040：采用S400的方法构建待预测描述特征矩阵D’；

S1050：采用S500的方法构建待预测服务信息词特征矩阵I’；

S1060：采用S600的方法构建待预测服务名称特征矩阵S’；

S1070：采用S700的方法得到待预测增强数据特征矩阵A’；

S1080：采用S800的方法计算待预测相关矩阵F’；

S1090：采用S900的方法计算待预测的r^A’和r^D’；

S1100：采用S1000的方法计算预测向量L’，将其中的最大概率值所对应的服务类别作为待预测Web服务的预测类别。