[发明专利]一种基于文本信息抽取结果的去重方法、系统以及介质

权利要求书

1.一种基于文本信息抽取结果的去重方法，其特征在于：

对公共资源交易信息所在网页进行结构化抽取，将抽取结果以文本数据记录形式存储在数据集中；

根据预设多重分类规则对数据集中所有文本数据记录进行细分；

基于标题和预设实体字段进行组内判重，当组内存在重复文本数据记录时，基于网站类型和实体字段对重复文本数据记录进行评分，并根据评分进行重复文本数据记录的合并。

2.根据权利要求1所述的基于文本信息抽取结果的去重方法，其特征在，所述结构化抽取的具体步骤如下：

对公共资源交易信息所在网页进行预处理，统一网页的编码和内容格式，并去除网页中的噪音信息；

为公共资源交易信息生成交易类别标签和城市标签；

对公共资源交易信息进行段落划分，并基于拆分后的段落并行进行表格解析、键值对解析、正则抽取和实体识别处理；

根据预设属性权重表分别对表格解析、键值对解析、正则抽取和实体识别的处理结果进行属性加权评分，选取属性加权评分最高的处理结果作为最佳处理结果；

对最佳处理结果进行度量转换，并与交易类别标签、城市标签一起作为结构化抽取结果。

3.根据权利要求2所述的基于文本信息抽取结果的去重方法，其特征在于，根据预设多重分类规则对数据集中所有文本数据记录进行细分的具体步骤如下：

根据交易类别标签对数据集中所有文本数据记录进行细分，每个交易类别标签对应一个类别分组；

针对每个类别分组，再进一步根据发布时间周期、城市标签、采购单元和代理机构进行细分，使得最终获得的每个分组内所有文本数据记录的类别标签、发布时间周期、城市标签、采购单位以及代理机构均一致。

4.根据权利要求3所述的基于文本信息抽取结果的去重方法，其特征在于，基于标题和预设实体字段进行组内判重具体包括以下步骤：

遍历每个分组，比对任意两个文本数据记录的标题是否相同以及比对预设实体字段的字段值是否相同，在标题和预设实体字段的字段值的相同个数大于预设个数时，将相应的文本数据记录作为重复文本数据记录输出。

5.根据权利要求4所述的基于文本信息抽取结果的去重方法，其特征在于：所述交易类别标签至少包括预告、招标、邀标、询价、竞价、竞谈、变更、成交、合同；所述预设实体字段包括项目编号、项目名称、合同编号、中标单位、开标时间、中标金额、预算中的多个。

6.根据权利要求3所述的基于文本信息抽取结果的去重方法，其特征在于：在被判定为重复文本数据记录时，将当前的判断依据添加到重复文本数据记录中。

7.根据权利要求1所述的基于文本信息抽取结果的去重方法，其特征在于，基于网站类型和实体字段对重复文本数据记录进行评分，具体包括：根据预设网站类型评分表获取每个重复文本数据记录的网站评分，根据预设实体字段评分表获取每个重复文本数据记录的每个实体字段的评分，将每个重复文本数据记录的网站评分和实体字段评分相加，得到每个重复文本数据记录的最终评分。

8.根据权利要求7所述的基于文本信息抽取结果的去重方法，其特征在于，根据评分进行重复文本数据记录的合并具体步骤如下：选取评分最高的重复文本数据记录作为源文本数据记录，将其他重复文本数据记录作为辅助文本数据记录；比对源文本数据记录和辅助文本数据记录，将只存在于辅助文本数据记录的内容添加到源文本数据记录中，并删除辅助文本数据记录。

9.一种基于文本信息抽取结果的去重系统，其特征在于：包括存储器、处理器、以及存储在所述存储器上的计算机程序，其特征在于，所述计算机程序被所述处理器运行时执行如权利要求1-8中任一项所述的方法步骤。

10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的方法步骤。