[发明专利]一种页面中无关内容的处理方法、装置

权利要求书

1.一种页面中无关内容的处理方法，其特征在于，所述方法包括：

获取页面的文档树，并按照层级顺序，对所述文档树中的每一层的节点进行访问，得到每一层的节点中包括的标签信息和样式信息；

根据每一层的节点中包括的标签信息，确定所述文档树中的每一层节点的标签分布规律；

根据每一层的节点中包括的样式信息，确定所述文档树中的每一层节点的样式分布规律；

根据所述文档树中的每一层节点的标签分布规律，将所述文档树中的每一层节点中不符合所述标签分布规律的节点，确定为所述标签的激变点；

根据所述文档树中的每一层节点的样式分布规律，将所述文档树中的每一层节点中不符合所述样式分布规律的节点，确定为所述样式的激变点；

其中，所述激变点为详情页面的文档树中的出现无关内容可能性较大的节点；

根据所述页面的文档树的结构，对所述激变点进行遍历，得到所述激变点的子孙节点中的文字信息和图片识别结果；

将所述文字信息和所述图片识别结果对应的区块进行分类处理，以确定与所述页面中的原始内容不存在关联关系的无关内容区块。

2.根据权利要求1所述的方法，其特征在于，所述获取页面的文档树，包括：

获取所述页面的超级文本标记语言源码，并将所述超级文本标记语言源码进行解析，得到所述页面的文档树；

所述根据每一层的节点中包括的标签信息，确定所述文档树中的每一层节点的标签分布规律，包括：

根据所述节点中包括的标签信息，统计所述节点与相邻的兄弟节点之间的标签分布差异；

根据统计后的每一个节点与相邻的兄弟节点间的标签分布差异，确定所述文档树中的每一层的节点的标签分布阈值；

所述根据每一层的节点中包括的样式信息，确定所述文档树中的每一层节点的样式分布规律，包括：

根据所述节点中包括的样式信息，统计所述节点与相邻的兄弟节点之间的样式分布差异；

根据统计后的每一个节点与相邻的兄弟节点间的样式分布差异，确定所述文档树中的每一层的节点的样式分布阈值。

3.根据权利要求1所述的方法，其特征在于，

所述将所述文档树中的每一层节点中不符合所述标签分布规律的节点，确定为所述标签的激变点，包括：

将所述文档树中的每一层节点中，与相邻的兄弟节点间的标签分布差异大于标签分布阈值的节点确定为所述标签的激变点；

所述将所述文档树中的每一层节点中不符合所述样式分布规律的节点，确定为所述样式的激变点，包括：

将所述文档树中的每一层节点中，与相邻的兄弟节点间的样式分布差异大于样式分布阈值的节点确定为所述样式的激变点。

4.根据权利要求1所述的方法，其特征在于，所述根据所述页面的文档树的结构，对所述激变点进行遍历，得到所述激变点的子孙节点中的文字信息和图片识别结果，包括：

根据所述页面的文档树的结构，对所述激变点进行前序遍历，以访问所述激变点的所有子孙节点；

获取所述激变点的所有子孙节点中包含的文字信息和图片信息；

通过图片识别模型，对所述图片信息进行识别处理，将所述图片信息中包含的文字子数据确定为所述图片识别结果。

5.根据权利要求4所述的方法，其特征在于，

所述图片识别模型包括图片特征提取模型和编码解码模型；

所述通过图片识别模型，对所述图片信息进行识别处理，将所述图片信息中包含的文字子数据确定为所述图片识别结果，包括：

通过所述图片特征提取模型，对所述图片信息中的文字特征进行提取，得到表征文字特征的文字序列；

通过编码解码模型，对所述文字序列进行多次编码以及多次解码，得到相应的文字子数据；

将所述文字子数据确定为所述图片识别结果。