[发明专利]适用于大规模样本的程序源代码相似度检测方法

权利要求书

1.一种适用于大规模样本的程序源代码相似度检测方法，其特征在于，包括：

步骤1，对输入的程序源代码进行预处理，删除与程序逻辑无关的干扰信息；若进行模块级相似度检测，执行步骤2，否则，进行工程级相似度检测，直接转步骤3执行；

所述的预处理包括：对输入的程序工程源文件中的不包含程序源代码的文件删除；对每个源代码文件，删除所有注释信息，并将所有头文件内容展开；将源代码文件中的不同形式表示的整数型常量统一为十进制表示；将源代码中的全部空格符号、制表符以及除换行符外的所有不可见字符移除；

步骤2，将经过步骤1处理后的程序源代码样本按照模块进行切分，划分后的每个源代码区段为模块级的待检测样本，进入步骤3执行；根据模块定义语法规则，对步骤1预处理后的程序源代码进行代码区段划分，每个代码区段的内容为程序源代码中原始工程中对应模块内部的程序语句，不包含模块定义及端口定义语句；使用“原始样本编号”和“区块对应模块名”对所有划分后所得到的代码区段进行标识；

步骤3：对于每个模块级的待检测样本或工程级的待检测样本，使用以下3种方法中的任意一种提取文本特征，并计算文本特征的权重；

方法1：n元语法提取，具体步骤为：对于样本中的每个源代码行，设源代码行的长度为m，自行首开始，按照固定的宽度n，以1为步长，将该行切分成(m-n+1)个长度为n的文本特征；m、n均为正整数，且n小于m；

方法2：哈希取模提取，具体步骤为：对于方法1所提取的文本特征，使用相同的哈希函数逐一计算哈希值，将所得的哈希值与固定的常数k进行取模运算，保留计算结果等于0的文本特征，舍弃计算结果不等于0的文本特征；k为正整数；

方法3：滑动窗口提取，具体步骤为：通过方法1对每行源代码提取一个文本特征序列，按照固定的窗口大小k，自文本特征序列头部选取k个文本特征，以相同的哈希函数计算窗口内各文本特征的哈希值，将窗口内哈希值最小的文本特征保留，剩余文本特征丢弃；以1为步长，对文本特征序列自头部向尾部移动窗口，以相同的哈希函数计算窗口内各文本特征的哈希值，保留窗口内哈希值最小的文本特征，若哈希值最小的特征已在此前的窗口中被选取，则不再重复选取该特征，每个窗口内选出至多一个文本特征；k为正整数；

对每个待检测样本，在计算得到样本中所有源代码行的文本特征序列后，对每个文本特征，计算该文本特征在待检测样本的所有文本特征序列中出现的频次，作为该文本特征的权重；

步骤4：对于每个待检测样本，对步骤3提取的文本特征序列及特征权重序列，计算样本的局部敏感哈希值，作为待检测样本的特征向量；

步骤5：建立t张有序表(T₁,T₂,…,T_t)，有序表T_i中的元素是由步骤4中所得到的全部样本的特征向量应用排列规则π_i变换产生；对每个有序表T_i有一个排列规则π_i，排列规则π_i是将样本的特征向量中指定的二进制位移至最高位，设移动的二进制位组成高位p_i；i＝1,2,…t；

对待检测样本的特征向量执行相应的排列规则π_i，得到从有序表T_i中找出高位p_i与完全相同的样本，i＝1,2,…t；分别计算所找出的每个样本X的特征向量与的汉明距离，若汉明距离满足检测敏感度的要求，将样本X加入匹配结果集合M中；集合M中的样本就是检测出来的特征向量所对应样本的相似样本。

2.根据权利要求1所述的方法，其特征在于，所述的步骤2中，对Verilog HDL程序源代码，按照模块定义语法规则划分代码区段；对非面向对象的程序语言的源代码，将方法作为检测的基本单元，按照基本单元划分代码区段；对面向对象的程序语言，将类作为检测的基本单元，按照类划分代码区段。