[发明专利]一种网页数据处理方法及装置

说明书

本申请实施例公开了一种网页数据处理方法及装置，其通过获取同一网页地址对应的预设网页和待测网页，并分别在上述预设网页和待测网页中存在实际内容的区域设置第一标识，以上述预设网页为基准，判断待测网页中设置有第一标识的区域是否与预设网页中设置有第一标识的区域匹配，根据判断结果判定该待测网页是否存在过滤问题。本申请能够自动检测多个网站、多个网页地址对应的网页的过滤问题；在某网页地址对应的网页排版样式和/或框架代码改变后，只需相应改变该网页地址对应的预设网页即可继续准确执行自动检测。因此，相对于人工检测法，本申请能够快速、及时地检测出网页存在的过滤问题，提高检测效率，尤其适用于待测网页数量巨大的场合。

技术领域

本申请涉及移动通信技术领域，特别是涉及一种网页数据处理方法及装置。

背景技术

网站运营者通常会在网页内植入某些商家的数据，例如广告，以相应获得这些商家的赞助，进而保障网站的正常运行及盈利；但对于用户来说，网页中植入的这些数据均属于非有效内容，其存在给用户带来了诸多不便，如：用户在浏览一个新网页时，首先需要区分其中的广告等非有效内容和有效内容；或者，由于广告内容对相应网页区域中有效内容的遮挡，导致用户难以获取该有效内容。为了给用户提供一个洁净的网络环境，多数浏览器都设置有过滤功能，以滤除网页中植入的非有效内容，例如过滤广告；其过滤原理一般为：根据待过滤网页的排版样式、框架代码等特征制定对应的过滤规则，通过该过滤规则来识别网页中的非有效内容(例如广告)，并阻断非有效内容在网页中的加载过程或将非有效内容在页面中隐藏，不进行显示。

但实际应用中，由于网页的排版样式会随着网站的更新而发生变化，或者，网站维护者为避免其植入的数据被过滤而刻意更改网页的排版样式或框架代码等特征，导致预设的过滤规则不再适用于更新后的网页，从而出现过滤失效、误过滤有效内容等过滤问题。因此，需要及时发现上述过滤问题，以便优化过滤方法，提高过滤准确度。

一般的，通过人工检测法来确定网页是否存在过滤问题，能够保证检测结果的准确性，但由于网站数量巨大，且每个网站每天可能更新十几次甚至更多，该人工检测法无法保证及时检测到每次过滤问题，检测效率极低。

发明内容

本申请实施例中提供了一种网页数据处理方法及装置，以解决人工检测网页过滤问题所存在的检测不及时、效率低的问题，实现快速有效地发现过滤问题。

为了解决上述技术问题，本申请实施例公开了如下技术方案：

第一方面，提供一种网页数据处理方法，包括：获取待测网页，以及所述待测网页的网页地址对应的预设网页；分别在所述预设网页和待测网页中存在实际内容的区域设置第一标识；判断所述预设网页与所述待测网页中设置有所述第一标识的区域是否相匹配；如果所述预设网页与待测网页中设置有所述第一标识的区域相匹配，则判定所述待测网页不存在过滤问题，否则判定所述待测网页存在过滤问题。

结合第一方面，在第一方面第一种可能的实现方式中，所述第一标识为预设颜色，所述分别在所述预设网页和待测网页中存在实际内容的区域设置第一标识，包括：分别将所述预设网页和待测网页中存在实际内容的区域的背景颜色设置为预设颜色；当所述实际内容为文字时，设置所述文字的颜色为所述预设颜色；当所述实际内容为图片时，删除所述图片。

结合第一方面，在第一方面第二种可能的实现方式中，所述第一标识为边框，所述分别在所述预设网页和待测网页中存在实际内容的区域设置第一标识，包括：分别在所述预设网页和待测网页中存在实际内容的区域设置边框；其中，所述边框与所述存在实际内容的区域的边界重合。