[发明专利]一种基于抽取模板的网页正文抽取方法及装置

权利要求书

1.一种基于抽取模板的网页正文抽取方法，其特征在于，包括：

获取待抽取正文信息的网页的网页信息，所述网页的IP地址和网页内容；

若判断获知抽取方式为模板抽取，则获取所述网页信息对应的目标抽取模板，所述目标抽取模板中包括至少一个段起始信息和至少一个段结尾信息；

根据所述段起始信息和所述段结尾信息对所述网页进行分段处理，获得一个或多个网页段；

依次对各所述网页段进行字段抽取，获得每一所述网页段对应多个字段；

利用数据库中的字典对所述字段进行字典映射，获得所述字典中与所述字段对应的字典字段，将所述字段存入所述字典字段对应的数据表中，以实现对所述网页中正文的抽取；

所述方法，还包括：

若判断获知所述抽取方式为自动正文抽取，则将所述IP地址与数据库中的黑名单中的IP地址进行匹配，若匹配失败，根据链接比法或基于密度法对所述网页的正文进行抽取；其中，先判断是否采用所述基于密度法的抽取方式，若是，则利用所述基于密度法对所述网页的正文进行抽取，若否，则利用所述链接比法对所述网页的正文进行抽取；

所述基于密度法，包括：

将所述网页内容进行去标签处理；

按行对所述网页内容进行分割，并统计所述网页内容的行长度；

将第一个超过第二预设阈值的行长度对应的行号作为骤升点，将所述骤升点之后的行号作为骤降点；

将所述骤升点和所述骤降点之间的内容作为所述网页中的正文；

所述链接比法，包括：

对所述网页进行编码识别及转化、标签大小写一致化、去噪声标签和标签整理；

若判断获知在TR和/TR之前为空，则将所述TR和所述/TR删除处理；

以table标签为分隔符，计算所述网页对应的内容链接比，若所述内容链接比大于预设阈值，则将内容链接比大于所述预设阈值的内容作为正文；

所述方法，还包括：

利用情感分类模型对所述网页中的正文进行情感识别，获得情感类别，所述情感类别包括积极、中性和消极；

所述方法，还包括：预先构建所述情感分类模型，并对所述情感分类模型进行训练；

所述预先构建情感分类模型，并对所述情感分类模型进行训练，包括：

分别构建第一神经网络、第二神经网络和第三神经网络，所述第一神经网络用于识别积极情感，所述第二神经网络用于识别中性情感，所述第三神经网络用于识别消极情感；

利用训练数据集对分别对所述第一神经网络、所述第二神经网络和所述第三神经网络进行训练，获得所述第一神经网络对应的第一输出结果、所述第二神经网络对应的第二输出结果和所述第三神经网络对应的第三输出结果；

计算所述第一输出结果与所述标签结果之间的第一损失函数、所述第二输出结果与所述标签结果之间的第二损失函数和所述第三输出结果与所述标签结果之间的第三损失函数；

利用所述第一损失函数对所述第一神经网络中的参数进行优化，利用所述第二损失函数对所述第二神经网络中的参数进行优化，利用所述第三损失函数对所述第三神经网络中的参数进行优化；其中，优化后的第一神经网络、优化后的第二神经网络和优化后的第三神经网络构成所述情感分类模型；

所述利用情感分类模型对所述网页中的正文进行情感识别，获得情感类别，包括：

利用所述情感分类模型中的所述第一神经网络、所述第二神经网络和所述第三神经网络分别对网页正文中的字段输出一个情感类别得分；

根据所述情感类别得分以及相应的权重计算获得整个网页正文对应的情感类别。

2.根据权利要求1所述的方法，其特征在于，所述方法，还包括：

预先在数据库中存储多个抽取模板，每一类型的网页对应一个所述抽取模板。

3.根据权利要求1所述的方法，其特征在于，在获取所述网页信息对应的目标抽取模板之后，所述方法，还包括：

对所述目标抽取模板进行解析，获得对应的XML文件。