[发明专利]基于加权递归自编码器的快速代码克隆检测方法及装置

权利要求书

1.一种基于加权递归自编码器的快速代码克隆检测方法，其特征在于，包括下述步骤：

获取待检测代码数据集，对所述待检测代码数据集进行预处理，得到待检测代码数据集中每一代码对应的二叉树；

基于所述二叉树和加权递归自编码器获得待检测代码数据集中每一代码对应的最终向量，并基于所述每一代码对应的最终向量得到最终向量集合；

基于所述最终向量集合构建导航展开图，并根据所述导航展开图对最终向量集合中的任意两个最终向量进行检测，得到代码克隆对；包括下述步骤：

基于所述导航展开图计算最终向量集合中任意两个最终向量的欧氏距离；

判断所述欧氏距离是否小于阈值门槛，若是，则两个最终向量对应的代码为代码克隆对；若否，则两个最终向量对应的代码不是代码克隆对；所述任意两个最终向量的欧氏距离计算公式为：

式中，dist(r,v)表示任意两个最终向量的欧氏距离，r和v表示向量集合中的任意两个最终向量，r＝(x₁,x₂,...,x_n)，v＝(y₁,y₂,...,y_n)，n表示维度；

基于所述二叉树和加权递归自编码器获得待检测代码数据集中每一代码对应的最终向量，包括下述步骤：

遍历所述二叉树中的所有叶子节点，得到待检测代码数据集中每一代码对应的函数语句；

获取所述函数语句中每个单词的词向量；

基于加权递归自编码器对每个单词的词向量进行编码，得到多级语义向量，并计算每一级语义向量对应的权值；计算每一级语义向量对应的权值，公式如下：

式中，TF-IDF为每一级语义向量对应的权重，n_k,j为非叶子节点序列出现次数，∑_kn_k,j为全部非叶子节点序列的总和，|D|为程序语料库中的文件总数；|{j:t_i∈d_j}|表示包含词语t_i的文件数目；

将每一级语义向量与其对应的权值相乘的结果进行叠加，得到待检测代码数据集中每一代码对应的最终向量。

2.根据权利要求1所述的基于加权递归自编码器的快速代码克隆检测方法，其特征在于，对所述待检测代码数据集进行预处理，得到待检测代码数据集中每一代码对应的二叉树，包括下述步骤：

基于所述待检测代码数据集获得待检测代码数据集中每一代码对应的抽象语法树；

对所述每一代码对应的抽象语法树进行优化，得到待检测代码数据集中每一代码对应的二叉树，其中，所述二叉树包括叶子节点和非叶子节点。