[发明专利]基于指纹特征的文本复制检测系统及方法

摘要

本发明公开了基于指纹特征的文本复制检测系统及方法。本发明系统包含：文本预处理模块，对文本进行格式转换，过滤文本中的噪声，将单词归一化，去除英语字母大小写的干扰；单词编码模块，依据单词的原生特点，将预处理后文本的单词进行编码；字典排序模块，以句子为单位，按字典方式进行排序，并去除文本中的标点；散列值映射模块，利用滚动哈希函数进行散列值计算，得到散列值序列；指纹提取模块，基于文本内容选取触发条件，并依据触发条件进行分块；利用哈希函数计算文本块的哈希值，并选取哈希值的特定位置的若干位转换为ASCII码，作为指纹特征；相似度计算模块，用于文本指纹的相似性比对，利用相似度算法计算文本指纹的相似程度。

主权项

1.基于指纹特征的文本复制检测系统，其特征是包含有以下几个模块：文本预处理模块，用于对文本进行格式转换，过滤待检测文本中的噪声，将单词归一化，去除英语字母大小写的干扰；单词编码模块，依据单词的原生特点，按设定的规则将预处理后文本的单词进行编码；字典排序模块，将编码后的文本，以句子为单位，按字典方式进行排序，并去除文本中的标点；散列值映射模块，将按字典排序后的文本，利用滚动哈希函数进行散列值计算，得到散列值序列；滚动哈希函数将长度为k的字符串映射为一个整数x(0≤x≤bk)，设asc(c)为字符c的ASCII值，则将文本T[1,...,n]中长度为k的子串T1,T2,...,Tk映射为一个散列值的计算公式如下：H(T1,T2,...,Tk)＝asc(T1)bk‑1+asc(T2)bk‑2+...+asc(Tk)  (1)那么H(T2,...,Tk,Tk+1)可表示为：H(T2,...,Tk,Tk+1)＝(H(T1,T2,...,Tk)‑asc(T1)bk‑1)b+asc(Tk+1)  (2)；指纹提取模块，基于文本内容选取触发条件，并依据触发条件进行分块；利用哈希函数计算文本块的哈希值，并选取哈希值的特定位置的若干位转换为ASCII码，作为指纹特征；相似度计算模块，用于文本指纹的相似性比对，利用编辑距离算法计算文本指纹的相似程度，来衡量文本之间的相似度；所述编辑距离算法的计算公式如下：fi,j可表示为：其中editi,j表示两字符串第i和j位置的编辑距离，fi,j判断si，tj是否相同；通过式(3)可以计算出字符串之间的最小距离即编辑距离，通过计算式(5)可以得出相似度；其中Sim(S,T)表示相似度，e(S,T)表示编辑距离，l1，l2为S，T的长度。