[发明专利]一种新闻网页的信息抽取方法及终端

说明书

本发明公开一种新闻网页的信息抽取方法及终端，获取新闻网页的HTML源码，并对所述HTML源码进行一次预处理，得到一次预处理后的HTML源码；根据预设XPATH规则对所述一次预处理后的HTML源码进行信息抽取，得到网页标题、发布标题、发布作者和发布时间；对所述一次预处理后的HTML源码进行二次预处理，得到二次预处理后的HTML源码；利用文本密度公式与符号密度公式对所述二次预处理后的HTML源码进行信息抽取，得到发布内容，实现了新闻网页信息的自动化抽取，且对HTML源码进行一次预处理能够过滤掉其中的无用信息，进而提高信息抽取效率，能够进一步提高发布内容抽取的精确度，从而提高了新闻网页中信息抽取的效率和准确率。

技术领域

本发明涉及数据采集技术领域，尤其涉及一种新闻网页的信息抽取方法及终端。

背景技术

随着互联网的高速发展，互联网每天传播的信息数以亿计，互联网也成为我们了解社会热点和世界时事的重要途径，尤其是互联网中的新闻类站点；新闻类站点中庞大的信息量让我们很难准确、快速地获取到自己关注的信息，并且不同的新闻站点，其页面结构和排版不尽相同，其中更有可能包含广告等无用的商业化信息影响我们的阅读，因此，如何从新闻网页中抽取出我们所需要的信息成为大众所关心的问题之一。

目前通常是针对性的对网站元素抽取、解析需要的内容属性，该方式需要花费大量人力与时间，并且在网站改版过后就需要重新抽取和解析，极大地影响了新闻网页的信息抽取效率和准确率。

发明内容

本发明所要解决的技术问题是：提供一种新闻网页的信息抽取方法及终端，能够提高新闻网页中信息抽取的效率和准确率。

为了解决上述技术问题，本发明采用的一种技术方案为：

一种新闻网页的信息抽取方法，包括：

获取新闻网页的HTML源码，并对所述HTML源码进行一次预处理，得到一次预处理后的HTML源码；

根据预设XPATH规则对所述一次预处理后的HTML源码进行信息抽取，得到网页标题、发布标题、发布作者和发布时间；

对所述一次预处理后的HTML源码进行二次预处理，得到二次预处理后的HTML源码；

利用文本密度公式与符号密度公式对所述二次预处理后的HTML源码进行信息抽取，得到发布内容。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种新闻网页的信息抽取终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取新闻网页的HTML源码，并对所述HTML源码进行一次预处理，得到一次预处理后的HTML源码；

根据预设XPATH规则对所述一次预处理后的HTML源码进行信息抽取，得到网页标题、发布标题、发布作者和发布时间；

对所述一次预处理后的HTML源码进行二次预处理，得到二次预处理后的HTML源码；

利用文本密度公式与符号密度公式对所述二次预处理后的HTML源码进行信息抽取，得到发布内容。