[发明专利]一种基于命名实体识别的中标数据提取方法

说明书

本发明公开了一种基于命名实体识别的中标数据提取方法，从中标公告网页的HTML解析成文本，到文本中提取所需的关键信息，再到提取结果校对，最后校对结果再反哺到提取上，形成一个闭环流程；在提取信息中结合了命名实体识别与规则筛选，提高中标机构的提取率，且针对不同的数据源，所需的改动较少；该方法在把难以处理的表格数据转为易于识别的普通文本数据的同时，尽可能保留了与信息提取相关的各个单元格间的关系，这是后续中标机构、中标标的与中标金额得以高准确率提取的主要因素。该方法可操作性强，随着处理过的数据量的增长，最终会得到较高的提取率与准确率。

技术领域

本发明涉及数据处理领域，尤其涉及一种基于命名实体识别的中标数据提取方法。

背景技术

中标数据提取是一类高效利用文本数据的任务，随着各级政府进一步加大信息公开力度，越来越的中标数据处于可利用状态，也由于数据量大，且数据呈现形式众多，这一类数据还有待进一步加工利用。

当前有通过DOM树对HTML数据直接进行解析的方法(参考专利：一种基于DOM树的招标网站中标信息抽取方法)，所需的信息都提取于DOM树的节点上；其中，DOM是文档对象化模型(Document Object Model)的简称，DOM Tree指通过DOM将HTML页面进行解析，并生成的HTML tree树状结构和对应访问方法。

也有利用二阶HMM对中标网页进行命名实体提取的方法(参考专利：一种基于二阶HMM的中标网页命名实体抽取方法)，其通过文本上下文及HTML标签作为数据，使用二阶HMM进行序列标注；其中，命名实体识别(Named Entity Recognition，简称NER)，又称作“专名识别”，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等；隐马尔可夫模型(Hidden Markov Model，HMM)是一种统计模型，用来描述一个含有隐含未知参数的马尔可夫过程。

现有的中标数据提取方法一般都缺乏系统性，很难有持续迭代优化的趋势，且使用条件较为限制，从而导致通用性较差。

发明内容

在中标数据提取任务中，现有的方法或依赖于规则提取，或侧重于算法提取，这直接反映在提取效果不够好，且没有持续优化的趋势，本发明针对以上问题提出一种基于命名实体识别的中标数据提取方法，从HTML解析成文本，到文本中提取所需的关键信息，再到提取结果校对，最后校对结果再反哺到提取上，形成一个闭环流程；在提取信息中结合了命名实体识别与规则筛选，提高中标机构的提取率，且针对不同的数据源，所需的改动较少。

本发明的目的是通过以下技术方案来实现的：一种基于命名实体识别的中标数据提取方法，该方法包括以下步骤：

步骤1：获取中标公告网页的HTML；

步骤2：解析HTML：

2.1)针对HTML中的文本，获取标题和其他纯文本；

2.2)针对HTML中的表格，首先将其解析为嵌套列表，然后采取如下规则将其解析为纯文本：

a)如果首行单元格同时满足如下三个条件，则更新除首行外的单元格内容：单元格内容＝首行单元格内容+“是”+单元格内容；

A.没有冒号

B.没有特定词

C.没有机构实体

b)依次对每行的单元格以“；”进行拼接；再对所有行以“。”进行拼接；

2.3)将解析得到的标题、纯文本和解析后的表格按其出现顺序拼接为全文；

步骤3：从步骤2得到的标题中提取项目名称以及公告类型；从标题下文提取公告时间；从步骤2得到的全文中提取中标总金额；

步骤4：根据文本顺序，依次扫描每句话：