[发明专利]一种基于命名实体识别的中标数据提取方法

权利要求书

1.一种基于命名实体识别的中标数据提取方法，其特征在于，该方法包括以下步骤：

步骤1：获取中标公告网页的HTML；

步骤2：解析HTML：

2.1)针对HTML中的文本，获取标题和其他纯文本；

2.2)针对HTML中的表格，首先将其解析为嵌套列表，然后采取如下规则将其解析为纯文本：

a)如果首行单元格没有冒号、没有特定词且没有机构实体，则更新除首行外的单元格内容：单元格内容＝首行单元格内容+“是”+单元格内容；

b)依次对每行的单元格以“；”进行拼接；再对所有行以“。”进行拼接；

2.3)将解析得到的标题、纯文本和解析后的表格按其出现顺序拼接为全文；

步骤3：从步骤2得到的标题中提取项目名称以及公告类型；从标题下文提取公告时间；从步骤2得到的全文中提取中标总金额；

步骤4：根据文本顺序，依次扫描每句话：

4.1)通过命名实体识别与机构实体后缀规则筛选提取中标机构；

4.2)在步骤4.1)提取的中标机构上下文提取中标标的与中标金额；

步骤5：按照步骤1到步骤4解析若干个中标公告后，进行人工抽样校验，依次分析随机抽取的中标公告提取结果，如果某个中标公告提取出错，则进行如下操作：

5.1)如果有中标机构没有被提取出，则增加该机构实体到命名实体识别的机构实体库中，同时增加该中标机构对应的机构实体后缀规则；

5.2)如果其他信息提取出错，则更新其正则提取规则；

步骤6：人工校验结束后计算人工校验准确率，如果人工校验准确率没有到达设定准确率阈值，则对该批次的所有中标公告重新提取；在达到设定准确率阈值后，停止提取。

2.根据权利要求1所述的一种基于命名实体识别的中标数据提取方法，其特征在于，所述步骤2.1)中，通过Python模块BeautifulSoup获取标题和其他纯文本。

3.根据权利要求1所述的一种基于命名实体识别的中标数据提取方法，其特征在于，所述步骤2.2)中，通过Python模块pandas将表格解析为嵌套列表。

4.根据权利要求1所述的一种基于命名实体识别的中标数据提取方法，其特征在于，所述步骤4中，命名实体识别采用哈尔滨工业大学开源的Python模块pyltp。

5.根据权利要求1所述的一种基于命名实体识别的中标数据提取方法，其特征在于，所述步骤5人工抽样校验中，抽取1％作为校验样本，所述步骤6中，准确率阈值设置为85％。