[发明专利]基于知识库的政务数据质量评价方法

说明书

本发明公开了一种基于知识库的政务数据质量评价方法，包括：步骤1、选取一体化政务服务能力较高的城市的政务服务网站作为数据指标知识库形成的来源，构建数据指标知识库；步骤2、评价数据覆盖率；步骤3、评价数据值质量；步骤4、计算数据质量等级。该方法能够给出全局性数据维度扩充及数据值改进建议，驱动政府部门完善并修正相关数据目录、数据项和数据值；同时，还可以满足单一政府部门业务的需要以及数据共享、互操作与业务发展的进一步要求。

技术领域

本发明涉及一种基于知识库的政务数据质量评价方法。

背景技术

数据质量是政务大数据的重中之重，事关提升城市治理能力的最终成效。科学的数据质量评价体系不但能够提升政务大数据的可用性，而且还能为有效分析数据、反哺数据提供便利。为了能够让政务大数据解决更多业务问题，在理想情况下数据维度越多越好，数据准确性越高越好。

但是，现有的数据质量评价方法没有考虑数据成熟度因素，导致数据质量评价效果差，准确性低。

发明内容

本发明的目的是提供一种基于知识库的政务数据质量评价方法，该方法能够给出全局性数据维度扩充及数据值改进建议，驱动政府部门完善并修正相关数据目录、数据项和数据值；同时，还可以满足单一政府部门业务的需要以及数据共享、互操作与业务发展的进一步要求。

为了实现上述目的，本发明提供了一种基于知识库的政务数据质量评价方法，该基于知识库的政务数据质量评价方法包括：

步骤1、选取一体化政务服务能力较高的城市的政务服务网站作为数据指标知识库形成的来源，构建数据指标知识库；

步骤2、评价数据覆盖率；

步骤3、评价数据值质量；

步骤4、计算数据质量等级。

优选地，步骤1中包括：

步骤1.1、构建来源部门：首先，对中文RoBERTa预训练语言模型采用政务领域语料库进行无监督训练，获取拥有政务领域知识的RoBERTa预训练语言模型；其次，使用政务领域知识的RoBERTa预训练语言模型对政务服务清单文本和权力清单文本进行语义提取，得到政务服务清单文本词向量和权力清单文本词向量；最后，计算服务清单文本词向量和权力清单文本词向量的余弦相似度，选取相似度最高的文本进行匹配，形成来源部门；

步骤1.2、构建数据目录：首先，获取城市政务服务网中个人办事和法人办事的网页数据，使用xpath和BeautifulSoup以及JSON数据解析方法对网页进行数据清洗和相关数据的数据提取，提取出对应的自然人事件和法人事件；将提取的数据进行规整，通过pymysql技术连接到本地MySQL数据库，将规整后的数据存入数据库中；运用词向量计算文本相似度，设定指定阈值，对相似自然人事件和法人事件进行融合，形成数据目录；

步骤1.3、构建数据项：首先，获取办事结果表格、证书图片等，对表格数据直接处理得到目录对应的数据项；对证书图片应用OCR算法进行文本提取，获取具体文本后再进行文本处理获取数据项，在完成数据目录、数据项和来源部门构建后，数据指标知识库构建完成，并以此对政务数据按数据目录、数据项和来源部门进行匹配和识别；其中，基于词向量计算相似度时，若相似度超过指定阈值，则认为数据目录或数据项或来源部门匹配成功。

优选地，步骤1.3包括：

步骤1.3.1、使用卷积神经网络作为特征提取网络，提取事项申请材料图片中信息生成特征图；

步骤1.3.2、使用文本检测模型处理特征图定位到文字框；

步骤1.3.3、使用CRNN+CTC、CNN+RNN+Attention或CNN+Seq2Seq+Attention模型实现对文字框中的文字内容识别；