[发明专利]一种基于命名实体识别的中标数据提取方法

摘要

本发明公开了一种基于命名实体识别的中标数据提取方法，从中标公告网页的HTML解析成文本，到文本中提取所需的关键信息，再到提取结果校对，最后校对结果再反哺到提取上，形成一个闭环流程；在提取信息中结合了命名实体识别与规则筛选，提高中标机构的提取率，且针对不同的数据源，所需的改动较少；该方法在把难以处理的表格数据转为易于识别的普通文本数据的同时，尽可能保留了与信息提取相关的各个单元格间的关系，这是后续中标机构、中标标的与中标金额得以高准确率提取的主要因素。该方法可操作性强，随着处理过的数据量的增长，最终会得到较高的提取率与准确率。

主权项

1.一种基于命名实体识别的中标数据提取方法，其特征在于，该方法包括以下步骤：步骤1：获取中标公告网页的HTML；步骤2：解析HTML：2.1)针对HTML中的文本，获取标题和其他纯文本；2.2)针对HTML中的表格，首先将其解析为嵌套列表，然后采取如下规则将其解析为纯文本：a)如果首行单元格没有冒号、没有特定词且没有机构实体，则更新除首行外的单元格内容：单元格内容＝首行单元格内容+“是”+单元格内容；b)依次对每行的单元格以“；”进行拼接；再对所有行以“。”进行拼接；2.3)将解析得到的标题、纯文本和解析后的表格按其出现顺序拼接为全文；步骤3：从步骤2得到的标题中提取项目名称以及公告类型；从标题下文提取公告时间；从步骤2得到的全文中提取中标总金额；步骤4：根据文本顺序，依次扫描每句话：4.1)通过命名实体识别与机构实体后缀规则筛选提取中标机构；4.2)在步骤4.1)提取的中标机构上下文提取中标标的与中标金额；步骤5：按照步骤1到步骤4解析若干个中标公告后，进行人工抽样校验，依次分析随机抽取的中标公告提取结果，如果某个中标公告提取出错，则进行如下操作：5.1)如果有中标机构没有被提取出，则增加该机构实体到命名实体识别的机构实体库中，同时增加该中标机构对应的机构实体后缀规则；5.2)如果其他信息提取出错，则更新其正则提取规则；步骤6：人工校验结束后计算人工校验准确率，如果人工校验准确率没有到达设定准确率阈值，则对该批次的所有中标公告重新提取；在达到设定准确率阈值后，停止提取。