[发明专利]一种基于文件相似度的排重方法及系统

权利要求书

1.一种基于文件相似度的排重方法，其特征在于，包括以下步骤：

A、抽取需要比对的文件，生成纯文字；

B、对纯文字进行规范化处理，生成规范文字单元；文字单元包括段落、句子和关键词；

C、将规范文字单元进行编码，通过编码算法生成一种固定长度、且不可逆转的代表码；

D、对需要比对的文件的代表码的关键词进行抽取，生成关键词序列；根据需要比对的句子的关键词序列，计算需要比对的句子的词形相似度和词序相似度；根据需要比对的句子的词形相似度和词序相似度，计算需要比对的句子的相似度；根据句子的相似度计算需要比对的文件的相似度。

2.如权利要求1所述的基于文件相似度的排重方法，其特征在于：步骤B中所述对纯文字进行规范化处理，生成规范文字单元包括以下步骤：

B1、将纯文字分拆为文字单元；

B2、对文字单元进行规范化处理；

B3、去除规范化处理后的文字单元中的无意义信息，生成规范文字单元。

3.如权利要求2所述的基于文件相似度的排重方法，其特征在于：步骤B3中所述无意义信息包括没有实质意义的文字。

4.如权利要求1至3任一项所述的基于文件相似度的排重方法，其特征在于：步骤C中的编码算法包括单向散列MD5算法、数据加密SHA-1算法和杂凑函数SHA-2算法中的至少一种。

5.如权利要求1至3任一项所述的基于文件相似度的排重方法，其特征在于：步骤D中所述对需要比对的文件的代表码的关键词进行抽取，生成关键词序列时，包括以下步骤：

D1、选择代表码的句子中的任一关键词；

D2、判断该关键词是否为名词、代词、动词和形容词中的任意一种，若是，抽取w，转到步骤D3；否则选择下一个关键词，并重新执行步骤D2；

D3、将所有抽取的关键词组成当前句子的关键词序列。

6.如权利要求1至3任一项所述的基于文件相似度的排重方法，其特征在于：步骤D中所述根据需要比对的句子的关键词序列，计算需要比对的句子的词形相似度的计算公式如下：

Sim_word(S1,S2)＝2·(Same_word(S1,S2)/(LenS1+LenS2)；

其中Sim_word(S1,S2)为需要比对的句子S1、S2的词形相似度，Same_word(S1,S2)为S1、S2中所含相同词或同义词的个数，LenS1为S1中所含关键词的个数，LenS2为S2中所含关键词的个数。