[发明专利]一种基于结构化嵌入的交互式代码搜索方法及装置

权利要求书

1.一种基于结构化嵌入的交互式代码搜索方法，其特征在于，包括：

步骤S1：收集原始数据，对原始数据中抽取出软件存储库以及代码-描述匹配对的模型语料，在抽取过程中获取每条代码-描述匹配对的社交属性值；

步骤S2：对模型语料进行结构化分词以及预处理，得到处理后的语料；

步骤S3：采用预设工具对处理后的语料进行词嵌入训练，构建预训练的结构化词嵌入；

步骤S4：对模型语料进行结构化分词以及预处理后，根据代码-描述匹配对的社交属性值筛选出预设数量的语料进行采样作为代码搜索模型的语料，并划分为训练集、验证集和测试集；

步骤S5：构建依次包含特征抽取模块、交互注意力抽取模块和相似度匹配模块的交互式代码搜索模型NICS，并设置训练网络的合页损失函数，其中，所述特征抽取模块用于捕获并编码代码段和自然查询的序列信息；所述交互注意力模块用于捕获并编码代码段和自然查询的交互信息；所述相似度匹配模块用于计算查询与代码段之间的相似度；

步骤S6：将预训练结构化词嵌入加载至交互式代码搜索NICS模型，设置初始化参数并利用训练集来训练拟合模型的参数，在验证集上迭代预设次直到合页损失函数收敛，得到训练好的NICS模型；

步骤S7：利用训练好的NICS模型对待处理的查询进行预测，获得与查询对应的代码搜索结果；

其中，步骤S5具体包括：

步骤S5.1：构建特征抽取模块；

在给定代码段C＝c₁,...,c_|C|和相应的查询Q＝q₁,...,q_|C|时，首先在步骤S2中得到的处理后的语料查询相应的编码向量，查询公式如下：

其中，E∈R^d×V是预训练的结构嵌入的矩阵，和是单词q_i和c_i的嵌入矢量,其中V是固定大小的词汇，d是单词嵌入的维度，改进后的Bi-LSTM包含正向LSTM和反向LSTM，从两个方向捕获每个步骤的历史和未来信息，顺序输入向量的正向和向后隐藏状态按如下方式表示：

将两种隐藏状态和串联，以形成最终隐藏状态h_t：

其中表示两个向量的串联，让每个单向LSTM的隐藏单位编号为u，基于Bi-LSTM的嵌入矢量从长度的为n的输入x_t更新的公式写作H∈R^n×2u：

H＝[h₁,...h_t,...,h_n]

按照将长度为n的输入向量转换为嵌入向量序列H的过程，这些基于BiLSTM的嵌入式矢量集和被表示为H∈R^|C|×2u，用于保留更多的历史信息；

步骤S5.2：构建交互注意力模块；

采用双向交互方法来进行交互信息抽取，给定在每个时间步t上查询序列H_Q中的嵌入矢量以及给定每个时间步t上的代码序列H_C中的嵌入矢量使用注意机制为QC的交互表示构造注意矩阵M，注意矩阵如下：

其中，W_q∈R^2u×a，W_c∈R^2u×a，V∈R^a是注意力参数，a是注意力维度，矩阵M∈R^|Q|×|C|中包含了查询Q和代码C之间的交互信息；

采用注意力池化操作，从代码方向和查询方向推导出基于池的投影向量，使用按行和按列值在M上的最大池，分别获取重要的分数向量m^Q∈R^|Q|和m^C∈R^|C|，矢量m^q和m^c的第k个元素的计算方式如下：

每个元素被视为第k个“查询-代码”单词对的重要性分数，同样，每个元素都被视为第k个“代码-查询”单词对的重要性分数，为给查询与代码分配特定的权重，计算权重向量δ^Q∈R^|Q|和δ^C∈R^|C|如下所示：

δ^Q＝softmax(m^Q)；δ^C＝softmax(m^C)

通过权重向量δ^Q∈R^|Q|和δ^C∈R^|C|以及基于BiLSTM的嵌入矢量H^C和H^Q的计算得到交互向量表示V_Q∈R^2u和V_C∈R^2u：

V_Q＝δ^QH^Q；V_C＝δ^CH^C；

步骤S5.3：构建相似度匹配模块；

使用cosine相似度cos(V_Q,V_C)测量源代码和自然查询之间的相关性，并共同嵌入其向量表示，cosine相似度的计算方式为：

其中的表示两个矩阵通过其转置的乘法，相似性越高，代码片段与自然查询的关系越大，相似度匹配模块以查询代码对Q,C作为输入，并预测其cosine相似度cos(V_Q,V_C)；

步骤S5.4：构建网络的合页损失函数，构造一个三元组样本对Q,C⁺,C^-作为训练实例，该实例由一个查询以及对应的正代码C⁺和负代码C^-组成，C⁺表示Q对应的正确的代码，C^-表示Q对应的不正确的代码，三元组来自步骤S1的模型语料，目标是学习一个具有可训练参数的函数f，使得这个函数能够实现对Q,C⁺的评分高于Q,C^-：

当在一组Q,C⁺,C^-三元组训练时，交互式代码搜索模型分别预测Q,C⁺和Q,C^-样本对的cosine相似度，并减少损失函数的值：

其中，θ表示模型参数，ε＞0是边距超参数，λ∈[0,1]是正则化参数，V_Q,V_C+和V_C-分别是Q,C⁺和C^-的交互式表示形式。