[发明专利]一种页面中无关内容的处理方法、装置

说明书

本发明提供了一种页面中无关内容的处理方法、装置、电子设备及存储介质；该方法包括：获取页面的文档树，并确定所述文档树中节点的分布规律；根据所述文档树中节点的分布规律，确定所述文档树中标签的激变点和样式的激变点；根据所述页面的文档树的结构，对所述激变点进行遍历，得到所述激变点的子孙节点中的文字信息和图片识别结果；将所述文字信息和所述图片识别结果对应的区块进行分类处理，以确定与所述页面中的原始内容不存在关联关系的无关内容区块。通过本发明，能够高效且准确的识别页面中的无关内容。

技术领域

本发明涉及人工智能领域的信息处理技术，尤其涉及一种页面中无关内容的处理方法、装置、电子设备及存储介质。

背景技术

人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法和技术及应用系统。人工智能现如今得到快速发展，并广泛应用于各种行业。

随着信息技术的飞速发展，越来越多的人们通过网页浏览来获取各类信息，但网页上充斥的各类广告等无关内容严重妨碍了人们的浏览体验。面对互联网上的海量网页，如何对页面中的无关内容进行高效且准确的识别，相关技术缺乏有效的解决方案。

发明内容

本发明实施例提供一种页面中无关内容的处理方法、装置、电子设备及存储介质，能够高效且准确的识别页面中的无关内容。

本发明实施例的技术方案是这样实现的：

本发明实施例提供一种页面中无关内容的处理方法，所述方法包括：

获取页面的文档树，并确定所述文档树中节点的分布规律；

根据所述文档树中节点的分布规律，确定所述文档树中标签的激变点和样式的激变点；

根据所述页面的文档树的结构，对所述激变点进行遍历，得到所述激变点的子孙节点中的文字信息和图片识别结果；

将所述文字信息和所述图片识别结果对应的区块进行分类处理，以确定与所述页面中的原始内容不存在关联关系的无关内容区块。

本发明实施例提供一种页面中无关内容的处理装置，包括：

获取模块，用于获取页面的文档树，并确定所述文档树中节点的分布规律；

确定模块，用于根据所述文档树中节点的分布规律，确定所述文档树中标签的激变点和样式的激变点；

遍历模块，用于根据所述页面的文档树的结构，对所述激变点进行遍历，得到所述激变点的子孙节点中的文字信息和图片识别结果；

处理模块，用于将所述文字信息和所述图片识别结果对应的区块进行分类处理，以确定与所述页面中的原始内容不存在关联关系的无关内容区块。

上述方案中，所述获取模块，还用于获取所述页面的超级文本标记语言源码，并将所述超级文本标记语言源码进行解析，得到所述页面的文档树；按照层级顺序，对所述文档树中的每一层的节点进行访问，得到每一层的节点中包括的标签信息和样式信息；根据每一层的节点中包括的标签信息，确定所述文档树中的每一层节点的标签分布规律；根据每一层中的节点包括的样式信息，确定所述文档树中的每一层节点的样式分布规律。

上述方案中，所述获取模块，还用于根据所述节点中包括的标签信息，统计所述节点与相邻的兄弟节点之间的标签分布差异；根据统计后的每一个节点与相邻的兄弟节点间的标签分布差异，确定所述文档树中的每一层的节点的标签分布阈值。

上述方案中，所述获取模块，还用于根据所述节点中包括的样式信息，统计所述节点与相邻的兄弟节点之间的样式分布差异；根据统计后的每一个节点与相邻的兄弟节点间的样式分布差异，确定所述文档树中的每一层的节点的样式分布阈值。