[发明专利]基于全局信息和局部信息的代码搜索嵌入方法及装置

权利要求书

1.一种基于全局信息和局部信息的代码搜索嵌入方法，其特征在于，所述基于全局信息和局部信息的代码搜索嵌入方法包括：

构建局部信息抽取模块，用于得到代码和查询的顺序信息向量、结构向量以及交互向量；

所述构建局部信息抽取模块，用于得到代码和查询的顺序信息向量、结构向量以及交互向量的步骤包括：

构建顺序信息抽取子模块：

使用ON-LSTM作为顺序信息抽取子模块，顺序地将由词嵌入构成的代码和查询，输入到ON-LSTM网络中，得到最终的隐藏状态：

其中，c_t是代码的词嵌入向量，q_t是查询的词嵌入向量，是输入代码段后ON-LSTM的最终隐藏状态，是输入查询后ON-LSTM的最终隐藏状态；

构建结构信息抽取子模块：

ON-LSTM能够在训练完成后，可以直接抽取出序列的结构信息，而不依赖于句子结构，抽取方法是将ON-LSTM结构中对于序列的结构信息有记忆的中间状态累加：

其中，是ON-LSTM中主遗忘门未经cumsum处理前的状态，seqlen是固定的序列长度，经过等式变换后，得到通过计算结构信息的等式，经由ON-LSTM输出的向量有两类，一类是顺序信息向量另一类是经过矩阵乘法操作后扩充为和顺序信息向量相同维度的初始结构向量

为了增强结构信息，分别使用卷积层对查询和代码段的初始结构向量进行信息增强处理，得到卷积层对查询和代码段的结构向量：

构建交互信息抽取子模块；

将查询的顺序信息向量和代码的顺序信息向量，通过交互注意力子模块，强调代码和查询两者最相关的部分，使用注意力机制为QC的交互表示构造注意矩阵M，包含了查询Q和代码C之间的交互信息，注意矩阵如下：

其中，W_q∈R^2u×a，W_c∈R^2u×a，V∈R^a是注意力参数，a是注意力维度；

使用池化操作，分别从代码方向和查询方向推导出基于池的投影向量，使用按行和按列值在M上的最大池得到m^Q、m^C，计算权重向量δ^Q∈R^|Q|和δ^C∈R^|C|如下所示：

δ^Q＝softmax(m^Q)；δ^C＝softmax(m^C)；

通过权重向量δ^Q∈R^|Q|和δ^C∈R^|C|以及和的计算得到交互向量：

V_Q＝δ^Qh^Q；V_C＝δ^Ch^C；

构建全局信息抽取模块，用于根据代码和查询的顺序信息向量得到代码和查询的全局信息向量；

所述构建全局信息抽取模块，用于根据代码和查询的顺序信息向量得到代码和查询的全局信息向量的步骤包括：

构建全局信息抽取模块，通过共享的线性层和卷积层，对代码和查询的顺序信息向量进行计算得到代码和查询的全局信息向量；

分别将代码和查询的结构向量、交互向量以及全局信息向量拼接，得到代码和查询的特征向量；

构建相似度匹配模块，设置训练网络的综合损失函数，其中，所述相似度匹配模块，包括计算查询和代码的特征向量的余弦相似度的第一计算模块，以及计算查询和代码的第二结构向量的曼哈顿距离的第二计算模块，所述综合损失函数包括合页损失函数、有权重的曼哈顿距离以及正则损失；

对代码-描述匹配对语料进行结构化分词以及预处理，得到结构化词嵌入；

将结构化词嵌入先加载至局部信息抽取模块，再加载至全局信息抽取模块，设置初始化参数并利用训练集来训练拟合模型的参数，在验证集上迭代一定次数直到综合损失函数收敛，得到训练好的模型；

利用训练好的模型对待处理的查询进行预测，获得与待处理的查询对应的代码搜索结果。