[发明专利]一种正文页的识别方法及装置

说明书

本发明实施例公开了一种正文页的识别方法及装置，其中，所述方法包括：获取网页页面的页面特征，所述页面特征包括统一资源定位符URL特征、二级导航特征、所述网页页面中每一个页面分块的分块类别中的任一种或多种；根据获取的页面特征对所述网页页面进行识别，若获取的所述页面特征满足预置的正文判决条件，确定所述网页页面为正文页。采用本发明，能够较为准确地识别出网页页面是否为正文页，以便更好地实现页面抽取、转换等操作。

技术领域

本发明涉及网页识别领域，尤其涉及一种正文页的识别方法及装置。

背景技术

随着移动互联网的发展，人们开始利用手机浏览器来获取、阅读各种信息，但互联网上的网页大多是针对个人电脑PC设计，网页的页面结构和内容都比较复杂，而手机浏览器由于手机屏幕、内存、处理器CPU的限制，在渲染复杂的互联网网页时耗时较长，而且，在结构和内容复杂的网页里包含较多与用户的需求无关的内容，因此对互联网上的网页就需要进行无关内容的过滤，筛选提取出对用户有价值的内容展示给用户。

目前，从网页中提取网页主要内容的现有技术包括采用模板的方法，即将网页与预先建好的模板进行匹配，提取出网页中与该模板相匹配部分的内容。而如何判断当前网页是否为新闻、资讯等的正文页从而选取合适的模板提取网页正文部分的全部内容成为研究的热点。

发明内容

本发明实施例所要解决的技术问题在于，提供一种正文页的识别方法及装置，可较为有效地识别处网页是否为正文页，从而方便后续完整地提取出网页的主要内容。

为了解决上述技术问题，本发明实施例提供了一种正文页的识别方法，包括：

获取网页页面的页面特征，所述页面特征包括统一资源定位符URL特征、二级导航特征、所述网页页面中每一个页面分块的分块类别中的任一种或多种；

根据获取的页面特征对所述网页页面进行识别，若获取的所述页面特征满足预置的正文判决条件，确定所述网页页面为正文页；

其中，所述分块类别是对所述网页页面分块处理后得到的每一个页面分块的类别，包括标题类别、来源类别以及正文类别中的任一种或多种。

其中，若页面特征包括URL特征，则所述根据获取的页面特征对所述网页页面进行识别，若获取的所述页面特征满足预置的正文判决条件，确定所述网页页面为正文页的步骤，包括：

判断所述URL特征中的网页类型特征词是否包含在预置的正文特征词库中；

若包含在预置的正文特征词库中，则进一步判断所述URL特征中是否包括页面日期特征，或者判断所述URL特征中的标识特征词是否包含在所述正文特征词库中；

若是，则获取的所述页面特征满足预置的正文判决条件，确定所述网页页面为正文页。

其中，若所述页面特征包括二级导航特征，则所述根据获取的页面特征对所述网页页面进行识别，若获取的所述页面特征满足预置的正文判决条件，确定所述网页页面为正文页的步骤，包括：

判断所述二级导航特征中的特征词是否包含在预置的正文特征词库中；

若是，获取的所述页面特征满足预置的正文判决条件，确定所述网页页面为正文页。

其中，若所述页面特征包括所述网页页面中每一个页面分块的分块类别，则所述根据获取的页面特征对所述网页页面进行识别，若获取的所述页面特征满足预置的正文判决条件，确定所述网页页面为正文页的步骤，包括：

判断所述网页页面中每一个页面分块的分块类别中是否包括正文类别；

若包括正文类别，则进一步判断所述网页页面中每一个页面分块的分块类别中是否包括标题类别或者是否包括来源类别；