[发明专利]网页识别模型训练方法、网页识别方法、装置及设备

权利要求书

1.一种网页识别模型训练方法，其特征在于，所述方法包括：

获取所述网页中的网页文本数据；所述网页的类别包括不良网页和/或非不良网页；

对所述网页文本数据进行文本特征提取，获取所述网页文本数据对应的训练文本特征向量；所述网页文本数据对应有网页类别标签；

根据所述训练文本特征向量和所述网页文本数据对应的网页类别标签对网页识别模型进行训练，获取训练完成的所述网页识别模型；所述网页识别模型用于识别所述网页的类别；所述网页识别模型采用机器学习算法实现。

2.根据权利要求1所述的方法，其特征在于，所述根据所述训练文本特征向量和所述训练文本特征向量对应的网页类别标签对网页识别模型进行训练，获取训练完成的所述网页识别模型，包括：

将所述训练文本特征向量输入到所述网页识别模型中，获取所述网页识别模型输出的所述网页文本数据对应的各个网页类别概率；

比较各个所述网页类别概率，将所述网页类别概率最大的网页类别作为所述网页文本数据对应的预测网页类别；

根据所述网页文本数据对应的预测网页类别和所述网页文本数据对应的网页类别标签，对所述网页识别模型进行训练，获取训练完成的所述网页识别模型。

3.根据权利要求1所述的方法，其特征在于，所述对所述网页文本数据进行文本特征提取，获取所述网页文本数据对应的训练文本特征向量，包括：

对所述网页文本数据进行分词处理，获取分词处理后的网页文本数据；

基于N-Gram语言模型对所述分词处理后的网页文本数据进行模型处理，获取模型处理后的网页文本数据；

基于词频-逆文档词频模型对所述模型处理后的网页文本数据进行文本特征提取，获取所述网页文本数据对应的训练文本特征向量。

4.根据权利要求3所述的方法，其特征在于，所述对所述网页文本数据进行分词处理，获取分词处理后的网页文本数据，包括：

对所述网页文本数据进行文本清理，获取清理后的网页文本数据；

对所述清理后的网页文本数据进行分词处理，获取分词处理后的网页文本数据。

5.根据权利要求4所述的方法，其特征在于，所述对所述清理后的网页文本数据进行分词处理，获取分词处理后的网页文本数据，包括：

设置停用词和自定义词；

结合所述停用词和所述自定义词，对所述清理后的网页文本数据进行文本分词，获取分词处理后的网页文本数据。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：

获取网页文本测试数据；

对所述网页文本测试数据进行文本特征提取，获取所述网页文本测试数据对应的测试文本特征向量；所述网页文本测试数据对应有网页类别标签；

将所述测试文本特征向量输入到所述训练完成的网页识别模型中，获取所述网页识别模型输出的所述网页文本测试数据对应的各个网页类别概率；

基于所述网页文本测试数据对应的各个网页类别概率，确定所述网页文本测试数据对应的预测网页类别；

根据所述网页文本测试数据对应的预测网页类别和所述网页文本测试数据对应的网页类别标签，对所述训练完成的网页识别模型进行评价。

7.根据权利要求6所述的方法，其特征在于，所述根据所述网页文本测试数据对应的预测类别和所述网页文本测试数据对应的标签，对所述训练完成的网页识别模型进行评价，包括：

根据所述网页文本测试数据对应的预测类别和所述网页文本测试数据对应的网页类别标签，计算所述网页文本测试数据的评价值；所述评价值包括准确率、精确率、召回率和F1分值中的一项或多项；

基于所述评价值对所述训练完成的网页识别模型进行评价。