[发明专利]一种基于多视角学习的网页船期数据抽取方法

说明书

本发明公开了一种基于多视角学习的网页船期数据抽取方法，包含如下步骤：S1，爬取船期数据公布页面，获得N个页面的渲染树作为训练集；S2，标记各个渲染树上的最终所需的节点，并获得各个渲染树所有节点的特征；S3，将训练集中的各个渲染树的特征和标记渲染树的所需节点采用机器学习算法进行分类，获得分类器；S4，爬取需要应用的船期数据公布页面，并获得各个渲染树所有节点的特征；S5，根据步骤S1～S3训练得到的分类器对节点进行分类，得到含有船期数据的节点。

技术领域

本发明涉及网页抽取方法，特别涉及一种基于多视角学习的网页船期数据抽取方法。

背景技术

互联网中，各大船公司与港口集团都会在官网上公布船期表，船期表中的船期数据有着方便货代公司揽货、方便船务公司装货、方便托运人和收货人查询到货期限等很多作用，因此近几年来也陆陆续续有与船期有关的或需要船期来核对校验的线上或线下的产品诞生。显而易见，船期数据的获取是非常重要的，而使用互联网爬虫程序来对船公司官网公布的船期表数据进行爬取是一种常见的获取船期数据的途径。一般在行业中，爬虫对所需数据的抽取规则是人为制定的，这就导致了数据获取十分被动，不仅需要人来费时费力找寻各个船期公布网站对应的个性化数据抽取规则，而且对于这些网站不时的大结构或小细节上的变化从而导致的数据爬取失败仍然需要有人监督跟进然后重新发现改变后的抽取规则。这种基于人工模板的方式前期需要大量的人力，并且由于不同网站通常有不同的模板，靠人工方式总结所有的网站模板极其不现实，且成本也无法承受。

网页的信息抽取方法分为模板有关的和模板无关的，传统的船期获取方法是基于模板的，需要大量人力，难以应对改变。而现有的很多网页信息抽取方法虽然都有所改进，但都是应用于正文类型的网页，这种页面主体信息包含大量的正文，正文部分网页源代码没有过多的链接或者是标签。还有少部分的研究对象为标题型网页比如某个学校的首页或者链接型网页比如包含着指向特定正文的超链接的列表页面二级导航页面。船期数据公布网页与这些网页大有不同，比如在文本的密度、标点的密度和代码结构等等这些方面，因此套用已有方法无法得出满意结果，需要另辟一种适合的方法。

发明内容

本发明的目的是提供一种基于多视角学习的网页船期数据抽取方法，采用网页源代码文本特征、DOM树结构特征和视觉特征融合的多特征挖掘的方式训练分类模型应用于船期数据公布的页面来自动对其判断所需数据节点，能够达到解放人为干预、灵活应对改变的效果，不用再靠人力去总结抽取规则，也不用再监督跟进网页发生变化时重新制定抽取规则。

为了实现以上目的，本发明是通过以下技术方案实现的：

一种基于多视角学习的网页船期数据抽取方法，其特点是，包含如下步骤：

S1，爬取船期数据公布页面，获得N个页面的渲染树作为训练集；

S2，标记各个渲染树上的最终所需的节点，并获得各个渲染树所有节点的特征；

S3，将训练集中的各个渲染树的特征和标记渲染树的所需节点采用机器学习算法进行分类，获得分类器；

S4，爬取需要应用的船期数据公布页面，并获得各个渲染树所有节点的特征；

S5，根据步骤S1～S3训练得到的分类器对节点进行分类，得到含有船期数据的节点。

所述的特征包括：标签比率、居左程度、居右程度、居上程度、XPath长度比率或字体颜色比率的一种或几种。

所述的获得各个渲染树所有节点的特征包括：获得各个渲染树所有节点的标签比率，所述的标签比率为渲染树上各节点子树的html标签总数在该节点子树包含的文字字符总数里的占比。