[发明专利]一种基于数据库的招标信息的标准化方法及系统

摘要

本发明提供了一种基于数据库的招标信息标准化方法，包括网页获取、表格提取、表格去噪、表格标准化、表格格式判断、键值序列提取等步骤。本发明的有益效果为：提供了一种基于数据库的招标信息的标准化方法和系统，通过将招标网页中的招标信息标准化，存入标准化数据库中，使得数据的后续处理变得更加方便，解决了现有技术招标网页都是一些非标准化的HTML代码块，各类数据分析算法无法处理的问题。

主权项

1.一种基于数据库的招标信息标准化方法，其特征在于，包括步骤：S100)网页获取：从网页数据库中获取招标网页；S200)表格提取：从招标网页中提取表格，由于页面中可能存在多个表格的情形，通过能够标识表格属性的ID、CLASS在多个表格中提取记录招标信息的表格；S300)表格去噪：将表格中的噪声标签去除，只保留与表格显示和控制相关的标签；S400)表格标准化：将表格分割成多行多列的单元格，转化成简单表格，使得表格中的每个单元格只占一行一列且只有唯一确定值；S500)表格格式判断：发布招标信息时既可采用将指标放到第一行的横表，也可采用将指标放到第一列的纵表，在抽取表格信息前需判断其是横表还是纵表；取表格的第一行单元格值和第一列单元格值，分别与各个指标进行匹配，比较第一行和第一列单元格值的命中率，若第一行单元格值的命中率高则为横表，否则为纵表；S600)键值序列提取：若表格为横表，则将第一行单元格的值映射到相应的指标，相应列单元格的值即为指标的值，将表格转化成标准化的键值对，进而存储到标准化数据库中；若表格为纵表，则将第一列单元格的值映射到指标，相应行单元格的值即为指标的值，提取键值对存储到标准化数据库中。