[发明专利]一种包装产业大数据知识图谱的构建方法及设备

说明书

本发明提供了一种包装产业大数据知识图谱的构建方法及设备，本发明可以在构建包装知识图谱的同时将非结构化数据进行结构化，为进一步语义分析计算打下基础。另外，利用知识图谱对包装行业的数据进行建模，可以自由扩展数据模式。

技术领域

本发明涉及一种包装产业大数据知识图谱的构建方法及设备。

背景技术

包装行业数据分散在多个系统中，并且不同来源的数据拥有不一样的结构，现有技术难以对这些信息进行聚合，存在对包装行业数据融合的需求。同时互联网上大部分数据均为非结构化数据，计算机无法理解。同时当存在新的业务认知时，传统的关系数据库构建的模式变迁困难，修改数据结构及业务逻辑很困难，会带来扩展性差、维护成本高等不良情况，。

发明内容

本发明的目的在于提供一种包装产业大数据知识图谱的构建方法及设备，能够在构建包装知识图谱的同时将非结构化数据进行结构化，为进一步语义分析计算打下基础，利用知识图谱对包装行业的数据进行建模，可以自由扩展数据模式。

为解决上述问题，本发明提供一种包装产业大数据知识图谱的构建方法，包括：

进获取包装行业的结构化数据，包括：利用一些能够代表包装行业的种子词汇，在搜索引擎和在线百科的搜索接口中进行搜索，对于所述搜索引擎返回的网页文档，选取排列在前面的预设个数据结果作为目标网页，添加到目标网页列表；对于所述在线百科返回的页面，先进入到相应的文章页，然后在文章页面中寻找两类链接，包括外部链接和参考文献的外链，将找到的外部链接和参考文献的外链作为目标网页，添加到所述目标网页列表中；对所述目标网页列表中目标网页依据网站进行第一归类；按所述第一归类对目标网页对应的各个网站进行站内的网页内容采集，每个网站采集的最大深度设置为3层，即从网站首页开始，使用深度优先采集策略，总共采集每个网站的3层网页内容；对每个网站已经采集到的网页内容进行提取保存，对于包含行业关键词的频度小于预设阈值的网页内容，将其从保存的网页内容中删除；

所述包装行业的结构化数据获取构建包装行业知识图谱的数据源，包括：使用聚类算法对网页内容依据结构进行第二归类，所述第二归类的目的在于把相同结构的网页聚集到一起，所述聚类所使用的特征包括：(a)网页URL的深度；(b)URL中去除域名后的部分使用″/″分割得到的词；(c)网页的长度；(d)网页的标签个数；(e)网页中主要标签包括<div>、<table>、<a>各自的个数及其所占的比例；对于所述第二归类后的网页内容数量大于预设阈值的类别，对所述类别中的网页内容进行过滤；通过预设的每个第二归类后的每个类对应的匹配模板，对所述过滤后的每个类中的网页内容进行解析，得到构建包装行业知识图谱的数据源，其中，所述每个类对应的匹配模板用于：对于所述过滤后的每个类中的网页内容中每个元素，通过利用网页内容在页面中XPath来进行定位；通过包括<synonym><attribute>的标签把XPath对应的元素中的信息映射成知识图谱中的元素；

获取构建包装行业知识图谱对应的人工专家定义的数据模式，所述数据模式采用自顶向下的知识图谱方式；

理解包装行业的结构化数据中的基本结构，包括包装行业的结构化数据中每个表格的含义以及表之间的关联，同时理解所述数据模式对应的待构建的包装行业知识图谱的结构，通过D2R Server结构化数据映射工具，根据预设的关系数据库映射到语义数据的映射规范D2RML，把所述包装行业的结构化数据中的表格与待构建的包装行业知识图谱中的概念或实体关联起来，以将所述数据源填充至包装行业知识图谱中，构建包装行业知识图谱，其中，关系数据库映射到语义数据的映射规范D2RML的主要关键词及相应的描述功能如下：

(a)dbtype：源数据库的类型，包括mysql、oracle、sqlserver，类型决定了连接时使用的驱动；