[发明专利]一种基于多模态机器学习的新闻网页正文抽取系统及方法

说明书

本发明属于新闻网页处理技术领域，公开了一种基于多模态机器学习的新闻网页正文抽取系统及方法，基于多模态机器学习的新闻网页正文抽取方法包括：进行不同类型特征的提取；多模态融合，进行特征的联合表示；进行网页正文分类模型训练。本发明使用多模态机器学习技术，融合网页的视觉特征、内容特征、标签分布特征等，通过特征之间的互补，消除歧义和不确定性，进行新闻类正文抽取，得到更加准确的网页正文判断结果，除了提高文本抽取准确率外，还可以准确抽取图片、视频、pdf文档，并能够大幅降低人工编辑模板的成本，通过对国际主流的1000个新闻网站进行正文抽取测试，对比目前方法，正文抽取准确率提高5％‑10％。

技术领域

本发明属于新闻网页处理技术领域，尤其涉及一种基于多模态机器学习的新闻网页正文抽取系统及方法。

背景技术

目前，对于一个单独的网页，往往最有价值的部分是网页的正文。然而就现在的大多数的网站的网页而言，不仅仅包含正文，网页标签等，其他的如广告，网页链接，插件等占据了网页相当一部分的内容。

现实的系统中，一般需要对网页进行检索、分类、观点抽取等挖掘处理。这需要对网页的内容进行分析，从而提取有价值的信息。而网页上诸如广告等信息，则是需要剔除的。一个网页的内容基本包含在正文中，对于新闻类网页更为突出。将网页正文之外其他的内容剔除从而降低分析的难度是一种基本的思路。同时正文内容提取的好坏直接影响到接下来分析工作的质量。如何使用最快捷的方法来获取网页的正文，同时又保证提取的内容的准确性，这就是本发明需要解决的问题。

现在的网站正文提取技术，最常用的算法仍然是基于网页标签分析的，这种算法需要对网站HTML建立DOM树，然后对之进行遍历递归，去除相应的噪音信息之后再从剩余的节点中进行选择。由于要建立DOM树，算法的时间/空间复杂度均较高。此外，由于互联网网页基本都采用了ajax等异步技术，各种框架也各式各样，所有这类算法的准确性和通用性都很难保证。

此外还有各类基于不同网页特征的机器学习算法，如基于内容的分析方法，典型的如基于行块分布函数的方法，基于视觉的方法，基于网页分块特征的分类方法等。

当前方法的主要问题，就是单一算法只对某一类的网页效果较好。再者，目前大部分算法都侧重于文本内容的提取，而且当前对网页内部的图片，视频等多多媒体信息提取的需求也越来越多，这些都是目前算法很难有效处理的。而且，由于机器学习算法的准确率难以保证，就需要大量的人工模板编辑工作，耗时耗力。因此，亟需一种新的新闻网页正文抽取系统。

通过上述分析，现有技术存在的问题及缺陷为：

(1)目前网页正文抽取的准确率低。

(2)由于要建立DOM树，算法的时间/空间复杂度均较高。此外，由于互联网网页基本都采用了ajax等异步技术，各种框架也各式各样，所有现有算法的准确性和通用性都很难保证。

目前大部分算法都侧重于文本内容的提取，而且当前对网页内部的图片，视频等多媒体信息提取的需求也越来越多，而目前算法很难有效处理。

(3)由于机器学习算法的准确率难以保证，就需要大量的人工模板编辑工作，耗时耗力。

解决以上问题及缺陷的难度为：

需要将完全不同类型的特征进行融合，而且要处理特征之间可能的关联关系。

解决以上问题及缺陷的意义为：

增加了利用机器抽取网页正文的准确率，降低人工的工作量。

发明内容

针对现有技术存在的问题，本发明提供了一种基于多模态机器学习的新闻网页正文抽取系统及方法，旨在解决新闻类网页的正文提取准确率问题。

本发明是这样实现的，一种基于多模态机器学习的新闻网页正文抽取方法，包括以下步骤：