[发明专利]一种基于文件相似度的排重方法及系统

说明书

技术领域

本发明涉及文字相似度的计算和检测领域，具体涉及一种基于文件相似度的排重方法及系统。

背景技术

文件相似度计算方法是一种利用文件自身的信息(文件内容和连接信息)，进行分析和计算出文件的相似度方法。随着时代的进步，文件相似度计算方法已经广泛的应用到各个领域(例如信息检索、协同推荐系、图书馆分类系统等相关领域)。

现有的检测文件相似度的方法一般包括以下步聚：

(1)对提交的文件集合中每个文件进行基本简化处理后，将每个文件分割成连续的标记块；在标记块中保留一定数量的代表性标记块；将代表性标记块制成独有的代表指纹，利用不同的代表指纹对不同的文件进行签名。

(2)判断2份文件的签名的指纹是否相同，若是，则所述2份文件相互关联，属于相似文件，否则所述2份文件没有关联，不属于相似文件。

但是，现有的检测文件相似度的方法使用时，存在以下缺陷：

现有的检测文件相似度的方法主要针对西方语言(例如英文)，由于进行标记块的分割时，中文的中文词组的分割完全不同于英文，因此，现有的检测文件相似度的方法无法对东方语言(例如中文)进行处理，其适用范围比较单一，我国无法使用。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种基于文件相似度的排重方法及系统，不仅能够适用于中国文字，便于国内用户使用，而且比对相似文件的精准度较高。

为达到以上目的，本发明采取的技术方案是：一种基于文件相似度的排重方法，包括以下步骤：

A、抽取需要比对的文件，生成纯文字；

B、对纯文字进行规范化处理，生成规范文字单元；文字单元包括段落、句子和关键词；

C、将规范文字单元进行编码，通过编码算法生成一种固定长度、且不可逆转的代表码；

D、对需要比对的文件的代表码的关键词进行抽取，生成关键词序列；根据需要比对的句子的关键词序列，计算需要比对的句子的词形相似度和词序相似度；根据需要比对的句子的词形相似度和词序相似度，计算需要比对的句子的相似度；根据句子的相似度计算需要比对的文件的相似度。

在上述技术方案的基础上，步骤B中所述对纯文字进行规范化处理，生成规范文字单元包括以下步骤：

B1、将纯文字分拆为文字单元；

B2、对文字单元进行规范化处理；

B3、去除规范化处理后的文字单元中的无意义信息，生成规范文字单元。

在上述技术方案的基础上，步骤B3中所述无意义信息包括没有实质意义的文字。

在上述技术方案的基础上，步骤C中的编码算法包括单向散列MD5算法、数据加密SHA-1算法和杂凑函数SHA-2算法中的至少一种。

在上述技术方案的基础上，步骤D中所述对需要比对的文件的代表码的关键词进行抽取，生成关键词序列时，包括以下步骤：

D1、选择代表码的句子中的任一关键词；

D2、判断该关键词是否为名词、代词、动词和形容词中的任意一种，若是，抽取w，转到步骤D3；否则选择下一个关键词，并重新执行步骤D2；

D3、将所有抽取的关键词组成当前句子的关键词序列。

在上述技术方案的基础上，步骤D中所述根据需要比对的句子的关键词序列，计算需要比对的句子的词形相似度的计算公式如下：

Sim_word(S1,S2)＝2·(Same_word(S1,S2)/(LenS1+LenS2)；

其中Sim_word(S1,S2)为需要比对的句子S1、S2的词形相似度，Same_word(S1,S2)为S1、S2中所含相同词或同义词的个数，LenS1为S1中所含关键词的个数，LenS2为S2中所含关键词的个数。

在上述技术方案的基础上，步骤D中计算需要比对的句子的词序相似度的计算公式如下：