[发明专利]一种抽取网页信息块的方法及装置

说明书

技术领域

本发明涉及计算机领域，特别涉及一种抽取网页信息块的方法及装置。

背景技术

对于新闻网页、小说网页和博客网页，这些网页中包括对用户有价值的关键信息，如新闻正文、小说正文和博客正文，还包括对用户无用的信息，如广告等无用信息；如果在返给用户的网页中只包括关键信息，不仅方便用户浏览，还减少网络资源的占用。

目前可以从网页中抽取包括关键信息的信息块，将抽取的信息块封装成新网页；接下来以新闻网页为例对该方案进行说明：一个新闻网页一般包括页顶导航、二级导航、正文标题、正文信息、正文、交互块和链接信息块等信息块，对用户有价值的信息块包括二级导航、正文标题、正文信息和正文；对于一个新闻网页，首先将该新闻网页包括的信息划分为多个信息块，确定该新闻网页的DOM(Document Object Model，文档对象模型)树结构，根据技术人员事先制作该DOM树结构包括的信息模板确定划分的每个信息块的名称，然后抽取名称为二级导航、正文标题、正文信息和正文分别对应的信息块，并将抽取的四个信息块封装成新的新闻网页。

其中，需要说明的是：技术人员事先对大量的网页进行归类，将属于同一DOM树结构的网页归为一类，然后对属于同一DOM树结构的网页进行分析并制作出该DOM树结构包括的一个或多个信息块模板。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

不同网站的网页的DOM树结构都有所不同使得DOM树种类繁多，如此对属于每个DOM树结构的网页进行归类，根据属于每个DOM树结构的网页制作出每个DOM树结构包括的信息块模板，需要投入大量的人力；网站有可能进行网页改版，一旦网页改版，网页采用的DOM树结构也随之改变，如此就需要再制作改变之后的DOM树包括的信息块模板，维护量巨大。

发明内容

为了减少人力投入和维护量，本发明提供了抽取网页信息块的方法及装置。所述技术方案如下：

一种抽取网页信息块的方法，所述方法包括：

获取网页所包括的多个特征的特征值，所述网页包括多个信息块；

根据获取的所述多个特征值确定所述每个信息块的类别，所述多个信息块分别与多个类别一一对应，所述多个类别包括页顶导航、二级导航、正文标题、正文信息、正文、小说标题、小说正文信息、小说正文、小说导航、博客导航、博客标题、博客信息、博客正文、链接信息块和交互块中至少一者；

从所述网页中选定至少一个信息块以进行显示。

获取网页所包括的多个特征的特征值，包括：

将所述网页具有的特征的特征值设置为第一特征值，将所述网页不具有的特征的特征值设置为第二特征值。

所述根据获取的所述多个特征值确定所述每个信息块的类别包括：计算每个信息块属于每个类别的概率，并将对应概率最大的类别定义为该信息块的类别。

所述计算每个信息块属于每个类别的概率包括：

针对任一个类别C，根据所述类别C包括的样本总数Ctotal和每个类别包括的样本总数Total计算出所述类别C的类别概率

对于所述信息块对应的特征Tk的特征值，k为1至预设数值F之间的任一值，从所述类别C包括的样本中获取所述特征Tk的特征值为第一特征值的样本，统计所述获取的样本的个数，得到第一样本个数Ck；

从所述预设的每个类别包括的样本中获取所述特征Tk的特征值为第一特征值的样本，统计所述获取的样本的个数，得到第二样本个数Ek；

对所述特征Tk的特征值进行判断；

如果为第一特征值，则根据所述第一样本个数Ck和第二样本个数Ek，并通过如下的公式(1)计算出所述特征Tk的特征概率P(Tk)，根据所述类别概率P(C)和所述信息块对应的特征的特征概率计算出所述信息块属于所述类别C的概率P＝P(C)*P(T1)*P(T2)*P(T3)*……*P(TF)；

其中，k1和k2为系数，且k2的值大于或等于k1的值；

如果为第二特征值，则根据所述第一样本个数Ck和第二样本个数Ek，并通过如下的公式(2)计算出所述特征Tk的特征概率P(Tk)；根据所述类别概率P(C)和所述信息块对应的特征的特征概率计算出所述信息块属于所述类别C的概率P＝P(C)*P(T1)*P(T2)*P(T3)*……*P(TF)；