[发明专利]一种环评文件重复度检测方法及系统

权利要求书

1.一种环评文件重复度检测方法，其特征在于，包括：

步骤1、读取多个历史环评文件，并在读取过程中将该历史环评文件中表格的单元格以固定字符加以分隔，得到该历史环评文件的第一字符文本，根据预设字符范围对该第一字符文本进行分段，得到多个第一文本段，并将该第一文本段和该第一文本段对应的文件名存入数据库；

步骤2、读取待查重环评文件，并在读取过程中将该待查重环评文件中表格的单元格以固定字符加以分隔，得到该待查重环评文件的第二字符文本，根据该预设字符范围对该第二字符文本进行分段，得到多个第二文本段；

步骤3、根据第二文本段和各第一文本段的相似度，得到相似度大于阈值的多个文本对，根据各文本对的重复字数，得到各文本对中第一文本段在第二文本段的重复率，将所有文本对中第一文本段依据文件名进行分组，并将各分组结果中的重复率求和，选择重复率求和最大的分组结果对应的历史环评文件作为该待查重环评文件的查重结果。

2.如权利要求1所述的环评文件重复度检测方法，其特征在于，该步骤1和该步骤2中的分段过程包括：依次遍历全文段落，计算每段字数，少于300字符则向下合并，合并到该预设字符范围内停止合并；多于500字符则按照400字符的长度拆分。

3.如权利要求1所述的环评文件重复度检测方法，其特征在于，该步骤3包括：该待查重环评文件中所有第二文本段和数据库中所有第一文本段做笛卡尔积，所有的配对返回对应simhash值的汉明距离作为第二文本段和各第一文本段的相似度。

4.如权利要求1所述的环评文件重复度检测方法，其特征在于，该步骤3包括：对每个文本对，找到连续的重复字符并统计该重复字符字数作为文本对的重复字数。

5.如权利要求4所述的环评文件重复度检测方法，其特征在于，找到连续的重复字符的过程具体包括：

依次寻找文本对中第二文本段的字符，判断其是否在文本对中第一文本段中连续重复，若是则保存连续重复字符至候选集，并删除文本对中第二文本段中该连续重复字符，继续寻找文本对中第二文本段的字符，判断其是否在文本对中第一文本段中连续重复，直到对文本对中第二文本段的全部字符均完成判断，将该候选集中字符最多的连续重复字符进行左右延伸，查看文本对中第一文本段中是否依然有与之一致的内容，若有则保存延伸后的连续重复字符并将其字符数作为文本对的重复字数，否则保存未延伸的连续重复字符并将其字符数作为文本对的重复字数。

6.一种环评文件重复度检测系统，其特征在于，包括：

模块1，用于读取多个历史环评文件，并在读取过程中将该历史环评文件中表格的单元格以固定字符加以分隔，得到该历史环评文件的第一字符文本，根据预设字符范围对该第一字符文本进行分段，得到多个第一文本段，并将该第一文本段和该第一文本段对应的文件名存入数据库；

模块2，用于读取待查重环评文件，并在读取过程中将该待查重环评文件中表格的单元格以固定字符加以分隔，得到该待查重环评文件的第二字符文本，根据该预设字符范围对该第二字符文本进行分段，得到多个第二文本段；

模块3，用于根据第二文本段和各第一文本段的相似度，得到相似度大于阈值的多个文本对，根据各文本对的重复字数，得到各文本对中第一文本段在第二文本段的重复率，将所有文本对中第一文本段依据文件名进行分组，并将各分组结果中的重复率求和，选择重复率求和最大的分组结果对应的历史环评文件作为该待查重环评文件的查重结果。

7.如权利要求1所述的环评文件重复度检测系统，其特征在于，该模块1和该模块2中的分段过程包括：依次遍历全文段落，计算每段字数，少于300字符则向下合并，合并到该预设字符范围内停止合并；多于500字符则按照400字符的长度拆分。

8.如权利要求1所述的环评文件重复度检测系统，其特征在于，该模块3包括：该待查重环评文件中所有第二文本段和数据库中所有第一文本段做笛卡尔积，所有的配对返回对应simhash值的汉明距离作为第二文本段和各第一文本段的相似度。