[发明专利]一种开放数据集的数据关联方法及系统

说明书

本发明公开了一种开放数据集的数据关联方法及系统，应用于政府数据开放平台的开放数据集的数据关联分析。该方法包括：对开放数据集进行数据预处理；对预处理完成后的开放数据集进行分析，获取开放数据集的特征数据；根据所述特征数据进行关联分析；根据结果建立数据关联描述；将获得的数据关联描述存入数据库。相比于传统的数据关联技术，本发明的方法能够建立细粒度数据关联，更好地挖掘数据之间的关系。此外，本发明的方法在不影响原有开放数据集发布流程基础上，自动建立开发数据集的数据集内的关联描述，能够减少人力投入和人为错误。

技术领域

本发明属于开放数据、数据关联的技术领域，具体涉及一种开放数据集的数据关联方法及系统。

背景技术

政府开放数据就是将政府在不涉及隐私，安全和版权的前提条件下，将政府积累的大量的各个领域的数据，以机器可读的数据集的形式向社会公开，任何人都可以免费、自由获取和使用数据集。据复旦大学联合国家信息中心数字中国研究院发布了《2019中国地方政府数据开放报告》，截至2019年上半年，我国已有82个省级、副省级和地级政府上线了数据开放平台。全国开放数据集总量从2017年8398个迅速增长到2019年的62801个，增幅近七倍。但是如今开放数据集由于数据来自不同层级的政府部门和业务系统，使得开放数据集的描述词汇不尽相同，而且缺乏数据集内数据语义关联描述，使得开放数据集被数据使用者难以理解和利用，无法充分挖掘开放数据的价值。建立统一数据集的关联描述，能够使得开放数据集更好地被理解和利用。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种开放数据集的数据关联方法及系统，采用自然语言处理技术自动地为开放数据集建立数据集内的数据关联描述，有助于数据的自动化挖掘和智能化使用，为数据使用提供数据集内更清晰的数据语义，能够更好地理解和挖掘开放数据的价值。

为了达到上述目的，本发明采用以下技术方案：

本发明提供了一种开放数据集的数据关联方法，包括下述步骤：

S1、对开放数据集进行数据预处理，将不同文件格式的数据集转化为json文件格式；

S2、对预处理完成后的开放数据集进行分析，获取开放数据集的特征数据，所述的开放数据集的特征数据具体为数据集元数据描述和数据元数据描述；

S3、使用机器学习技术解析数据集元数据描述，得到开放数据集的主题；

S4、根据数据元数据描述和数据集的主题进行关联分析，得到关联置信度；

S5、根据关联置信度，构建实体数据项之间的关联描述；

S6、将获得的实体数据项之间的关联描述存入数据库。

作为优选的技术方案，所述使用机器学习技术解析数据集元数据描述，得到数据集的主题，具体包括以下步骤：

S31、使用分词器对数据集元数据描述进行分词得到分词结果；

S32、根据分词结果计算该数据集元数据描述的tf-idf特征向量；

S33、对该数据集元数据描述的tf-idf特征向量进行奇异值分解，得到该数据集的主题T。

作为优选的技术方案，所述根据数据元数据描述和数据集的主题进行关联分析，得到关联置信度，具体包括以下步骤：

S41、采用正则表达式过滤数据集的非文本数据项，得到数据集的文本数据项；

S42、分析数据元数据描述和数据集的文本数据项，将数据项分为实体数据项和属性数据项并得到实体数据项集和属性数据项集；

S43、分析数据集元数据描述，确定实体数据项中的主实体数据项和从实体数据项；