[发明专利]一种预训练增强的代码克隆检测方法

权利要求书

1.一种预训练增强的代码克隆检测方法，其特征在于，包括以下步骤：

(1)从开源代码库获得预训练语料；经过数据清洗、分词处理，将连续的代码片段分割成token，构成词表；

(2)使用子词丰富预训练模型，对上一步获得的词表进行词向量训练，对于在词表中预先训练过的单词，直接利用预先训练的嵌入，在词向量训练中得到的嵌入矩阵中查找向量作为token表示；而对于不在词表中的单词，通过单词的子词来组成单词的表示；

(3)选择与语义相关的任务对克隆检测模型参数进行预训练；使用函数名预测的预训练方法，在获得了开源代码后，使用函数名和函数体对长短时记忆网络进行预训练，使长短时记忆网络获得函数的语义信息；

(4)对两段代码的语义进行训练，从而识别出输入的两个代码片段是否为克隆代码段；

(5)根据两个代码片段得出的单一向量进行分类，判断两段代码是否是克隆对。

2.根据权利要求1所述一种预训练增强的代码克隆检测方法，其特征在于，步骤(1)中利用爬虫方法首先获得所需要的预训练语料。

3.根据权利要求1中所述预训练增强的代码克隆检测，其特征在于，步骤(2)中使用子词丰富预训练模型对词表中的单词进行嵌入。

4.根据权利要求1中所述预训练增强的代码克隆检测，其特征在于，子词丰富预训练模型是经过改进的词向量训练模型，由skipgram模型和ngram模型构成。