[发明专利]一种代码查询模型的生成方法和计算机设备

权利要求书

1.一种代码查询模型的生成方法，其特征在于，包括：

在训练集中选取匹配语句对和非匹配语句对，其中，所述匹配语句对包括查询语句和该查询语句对应的匹配代码语句，所述非匹配语句对包括该查询语句和该查询语句对应的非匹配代码语句；

基于初始词嵌入模块确定所述匹配语句对对应的匹配词嵌入向量集，以及基于所述初始词嵌入模块确定所述非匹配语句对对应的非匹配词嵌入向量集；所述匹配词嵌入向量集包括：查询词嵌入向量和匹配代码词嵌入向量；所述基于初始词嵌入模块确定所述匹配语句对对应的匹配词嵌入向量集，具体包括：

将所述匹配语句对输入初始词嵌入模块，以得到所述查询语句对应的查询词嵌入向量，以及所述匹配代码语句对应的匹配代码词嵌入向量；

基于初始Transformer模块和所述匹配词嵌入向量集确定匹配词嵌入矩阵集；所述匹配词嵌入矩阵集包括：查询词嵌入矩阵和匹配代码嵌入矩阵，所述初始Transformer模块包括若干注意力头，每个注意力头均各自分别配置有查询/键/值权重矩阵；所述基于初始Transformer模块和所述匹配词嵌入向量集确定匹配词嵌入矩阵集，具体包括：将所述查询词嵌入向量输入所述初始Transformer模块中每个注意力头各自分别对应的查询/键/值权重矩阵，确定所述查询词嵌入向量对应的查询词嵌入矩阵；将所述匹配代码词嵌入向量输入所述初始Transformer模块中每个注意力头各自分别对应的查询/键/值权重矩阵，确定所述匹配代码词嵌入向量对应的匹配代码词嵌入矩阵；

以及基于所述初始Transformer模块和所述非匹配词嵌入向量集确定非匹配词嵌入矩阵集；

基于初始交互注意力模块和所述匹配词嵌入矩阵集确定所述匹配语句对对应的第一相似度，以及基于所述初始交互注意力模块和所述非匹配词嵌入矩阵集确定所述非匹配语句对对应的第二相似度；

基于所述第一相似度和所述第二相似度修改所述初始词嵌入模块、所述Transformer模块和所述初始交互注意力模块的参数，并继续执行所述在训练集中选取匹配语句对和非匹配语句对的步骤，直至满足预设训练条件，以得到代码查询模型，其中，所述代码查询模型包括已训练词嵌入模块、已训练Transformer模块和已训练交互注意力模块；

所述代码查询模型为单结果代码查询模型或者多结果代码查询模型；对于所述训练集中的每个查询语句，当该查询语句对应多个匹配代码语句时，则基于该训练集训练得到的代码查询模型为多结果代码查询模型；当该查询语句仅对应一个匹配代码语句时，则基于该训练集训练得到的代码查询模型为单结果代码查询模型。

2.根据权利要求1所述的代码查询模型的生成方法，其特征在于，所述初始交互注意力模块包括初始交互注意力子模块和初始相似匹配层；所述基于初始交互注意力模块和所述匹配词嵌入矩阵集确定所述匹配语句对对应的第一相似度，具体包括：

将所述匹配词嵌入矩阵集输入所述初始交互注意力子模块，以得到查询交互向量和匹配代码交互向量；

将所述查询交互向量和所述匹配代码交互向量输入初始所述相似匹配层，以得到所述匹配语句对对应的第一相似度。

3.根据权利要求2所述的代码查询模型的生成方法，其特征在于，所述初始交互注意力子模块包括：初始分类层、初始池化层、初始激活层和初始乘积层；所述匹配词嵌入矩阵集包括：查询词嵌入矩阵和匹配代码嵌入矩阵；所述将所述匹配词嵌入矩阵集输入所述初始交互注意力子模块，以得到查询交互向量和匹配代码交互向量，具体包括：

将查询嵌入矩阵和所述匹配代码嵌入矩阵输入所述初始分类层，以得到交互矩阵；

将所述交互矩阵输入所述初始池化层，以得到查询得分向量和匹配代码得分向量；

将所述查询得分向量和所述匹配代码得分向量输入所述初始激活层，以得到查询注意力权重和匹配代码注意力权重；

将所述查询注意力权重和所述查询嵌入矩阵输入所述初始乘积层，以得到查询交互向量，将所述匹配代码注意力权重和所述匹配代码嵌入矩阵输入所述初始乘积层，以得到匹配代码交互向量。