[发明专利]一种网页正文抽取方法、装置、设备及存储介质

说明书

本申请提供了一种网页正文抽取方法、装置、设备及存储介质，该方法包括：从网页内容中抽取出网页正文段落，将抽取的网页正文段落添加至文本文件中，计算网页内容中每个起始标签和结束标签之间标点符号数量与包含字符数量的最小商值，得到的最小商值作为网页正文判定阈值，根据抽取模板中起始文本信息和结束文本信息，确定标签滑动窗口，根据标签滑动窗口遍历网页内容中标点符号数量与包含字符数量，抽取符合网页正文判定阈值的网页正文字段。本申请的有益效果在于：能够根据网页正文判定阈值从网页内容中精准的抽取出网页正文段落，提高了抽取精度、避免了抽取网页正文段落的冗余问题，以及通过滑动窗口算法，有效提高了抽取效率。

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种网页正文抽取方法、装置、设备及存储介质。

背景技术

随着移动互联网技术蓬勃发展，在大数据、云计算以及新兴信息技术不断广泛应用的背景下，信息过载程度加剧，信息多样化趋势明显，CSS、JS、TS等技术的应用使得网页层次更丰富的同时，不同的网页结构呈现出多样化与个性化特征，用户往往很难迅速聚焦于网页的核心内容，大量的网页噪声会导致在抽取网页正文信息时变得愈加困难且复杂，而网页中的正文内容主要集中在网页的部分区域中，这片区域中的标签繁多杂乱并可能包含多个符号及特殊字符等，给网页正文的准确抽取带来了巨大的挑战。

现阶段网页正文抽取通常包括以下几种：一是请求并下载网页原始HTML代码，从中分析出包含正文段落的标签，根据标签含义去抽取正文，该抽取方式存在一定的技术不足，由于不同的网站中正文所处的位置不同，并且HTML的结构也不同，不可能针对所有的页面制定相应的正文抽取规则来抽取正文内容；二是基于标签密度判定的网页正文抽取，根据网页正文中部分HTML标签密度较低的特征，统计标签内字符数来判定是否为网页正文，该抽取方式在实际应用中依然存在着较大的偏差；三是基于视觉以及深度学习方式的网页正文抽取，该方式主要是依赖于网页正文独特的含义特征、样本数据量等条件，该抽取方式无法做到大规模的普遍应用，对于多类型的网页正文内容难以实现通用性。

发明内容

有鉴于此，本申请实施例提供了一种网页正文抽取方法，运用抽取模板标签对的方式获取网页内容，能够将不同结构网站中正文HTML标签统一，提高了普遍适用性，以及通过计算网页正文判定阈值，能够根据网页正文判定阈值从网页内容中精准的抽取出网页正文段落，并将抽取的网页正文段落添加至文本文件中进行去重，有效避免了抽取网页正文段落的冗余问题，以及通过滑动窗口算法，根据抽取模板中起始文本信息和结束文本信息阵列做线性滑动，有效提高了抽取效率。

第一方面，本申请实施例提供了一种网页正文抽取方法，所述方法包括：

运用正则表达式将网页源码中所有噪声标签和脚本代码进行清洗，清洗后得到网页内容；

获取所述网页内容对应的抽取模板，所述抽取模板中包括至少一个起始文本信息和一个结束文本信息；

运用递归算法逐一遍历所述抽取模板中起始文本信息和结束文本信息，根据起始文本信息和结束文本信息从网页内容中抽取出网页正文段落，将抽取的网页正文段落添加至文本文件中；

计算网页内容中每个起始标签和结束标签之间网页源码的标点符号数量与包含字符数量的最小商值，得到的最小商值作为网页正文判定阈值；

采用滑动窗口算法，根据所述抽取模板中起始文本信息和结束文本信息，确定标签滑动窗口；

根据标签滑动窗口遍历网页内容中标点符号数量与包含字符数量，抽取符合网页正文判定阈值的网页正文字段。

在一些实施例中，获取所述网页内容对应的抽取模板，所述抽取模板中包括至少一个起始文本信息和一个结束文本信息，包括：

将所述网页内容的标签中每个起始标签，通过正则表达式替换成对应所述抽取模板的起始文本信息；