[发明专利]信息过滤方法和装置

说明书

本发明公开了一种信息过滤方法和装置。其中，该方法包括：获取待展示的网络平台页面中的内容；利用预先获取的特征，对网络平台页面中的内容进行过滤，得到网络平台页面的主体内容，其中，特征用于表示网络平台页面中转换信息的特征，转换信息用于标识由主体内容转换为非主体内容；展示过滤得到的主体内容。本发明解决了无法有效过滤网络平台页面的广告的技术问题。

技术领域

本发明涉及信息处理领域，具体而言，涉及一种信息过滤方法和装置。

背景技术

网络平台的页面数据日益成为网络信息资源的重要数据源，在网络平台页面的文章中添加广告也成为各个公司的重要营销手段，因此在网络平台页面的内容中添加广告的现象越来越多，然而大量的广告信息严重干扰对正文内容信息的挖掘，为采集、分析网络平台页面数据以及获取网络平台页面有效信息带来了一定困难，目前过滤网络平台页面文章广告的方案主要是依据过滤一般网页无用信息的方案，即使用正则表达式、Xpath(即XML路径语言)或Css Selector(即CSS选择器)提取页面元素进行过滤，现有技术中通过分析网页HTML代码，对页面重要标签进行分析，通过正则表达式或其它手段提取信息，或者通过为页面建立DOM树(通过DOM将HTML页面进行解析，并生成的HTML tree树状结构和对应访问方法)，通过XPath或者CssSelector选取网页元素，选取包含网络平台页面的文章内容的标签，提取正文内容，从而达到过滤的目标，但是基于网页标签的提取方法，适用性差，往往只能针对一类页面进行信息提取，页面如果有变化会导致提取错误或者提取失败。

针对上述无法有效过滤网络平台的页面的广告的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种信息过滤方法和装置，以至少解决无法有效过滤网络平台页面的广告的技术问题。

根据本发明实施例的一个方面，提供了一种信息过滤方法，包括：获取待展示的网络平台页面中的内容；利用预先获取的特征，对所述网络平台页面中的内容进行过滤，得到所述网络平台页面的主体内容，其中，所述特征用于表示所述网络平台页面中转换信息的特征，所述转换信息用于标识由主体内容转换为非主体内容；展示过滤得到的所述主体内容。

进一步地，利用预先获取的特征，对所述网络平台页面中的内容进行过滤，得到所述网络平台页面的主体内容包括：对所述网络平台页面进行深度优先搜索；在搜索到所述特征的情况下，获取从搜索的起始点到搜索到所述特征的特征点之间的内容确定为所述网页页面平台的主体内容，过滤掉所述特征点之后的内容，其中，所述转换信息包括所述主体内容的结束信息，或所述非主体内容的开始信息。

进一步地，所述转换信息包括所述主体内容的结束信息，或所述非主体内容的开始信息。

进一步地，对所述网络平台页面进行深度优先搜索包括：解析所述网络平台页面，得到所述网络平台页面的页面结点树；从所述页面结点树的根节点开始，对所述页面结点树中的各个结点进行深度优先搜索。

进一步地，所述起始点为所述页面节点树的根结点，其中，获取从搜索的起始点到搜索到所述特征的特征点之间的内容确定为所述网络平台页面的主体内容，过滤掉所述特征点之后的内容包括：在执行所述深度优先搜索的过程中，若未搜索到所述特征，则将搜索过的结点对应的内容追加入主体内容中；若搜索到所述特征，记录搜索到所述特征的特征点，停止追加所述主体内容，并将所述页面结点树中未搜索过的结点对应的内容过滤掉。

进一步地，在对所述网络平台页面中的内容进行过滤之前，所述方法还包括：获取多个网络平台页面；从所述多个网络平台页面中提取转换信息，其中，所述转换信息用于标识由主体内容转换为非主体内容；基于提取到的转换信息，生成所述特征。