[发明专利]一种基于机器学习的侵权网页判断方法

权利要求书

1.一种基于机器学习的侵权网页判断方法，包括：网页源数据预处理生成训练集和测试集；使用训练集生成分析模型、测试集测试不同阈值下分析模型的性能指标及人工选择最优阈值；使用分析模型和最优阈值对网页进行分析判断是否为侵权网页，其特征是，所述网页源数据包括网页标题、网页文本和网页侵权标签，所述网页源数据生成训练数据和测试数据，所述训练数据构建形成词典，所述词典使用词袋模型将训练数据生成训练集，所述训练集包括训练特征向量和数据标签，所述词典使用词袋模型将测试数据生成测试集，所述测试集包括测试特征向量和数据标签，所述数据标签使用“0”或“1”分别表示“非侵权”和“侵权”，所述分析模型通过所述训练集搭建全连接神经网络得到，所述分析模型包括输入层、隐藏层a、隐藏层b和输出层，所述输入层内设置存储单元，所述隐藏层a、隐藏层b和输出层内均设置计算单元，所述存储单元存储输入数据，所述计算单元表示一次数学计算，所述输入层的存储单元数为5000，所述隐藏层a的计算单元数为1000，所述隐藏层b的计算单元数为300，所述输出层的计算单元数为1，所述隐藏层a设置有激活函数LeakReLU，所述隐藏层b设置有激活函数tanh，所述输出层设置有激活函数sigmoid。

2.根据权利要求1所述的一种基于机器学习的侵权网页判断方法，其特征是，所述网页源数据生成训练数据和测试数据步骤如下：（1）随机打乱网页源数据；（2）取打乱后网页源数据的80%生成训练数据，取打乱后网页源数据的20%生成测试数据。

3.根据权利要求1所述的一种基于机器学习的侵权网页判断方法，其特征是，所述训练数据构建形成词典步骤如下：（1）所述训练数据进行中文分词处理；（2）取词语长度≥2、频率最高的5000个词语构建形成词典。

4.根据权利要求1所述的一种基于机器学习的侵权网页判断方法，其特征是，所述分析模型输入训练集得出差值最小化参数，其步骤如下：（1）所述分析模型中输入所述训练特征向量，所述训练特征向量顺序通过输入层存储单元、隐藏层a计算单元、激活函数LeakReLU、隐藏层b计算单元、激活函数tanh、输出层计算单元、激活函数sigmoid输出0-1之间的计算数值；（2）通过比较计算数值与数据标签的差值，反向调节所述计算单元的参数，得出基于训练集的差值最小化参数。

5.根据权利要求1或4所述的一种基于机器学习的侵权网页判断方法，其特征是，所述测试集测试分析模型、人工选择阈值的步骤如下：（1）人工设置阈值；（2）将测试特征向量输入所述分析模型中得到测试数值，测试数值与所述差值最小化参数进行差值计算得到计算结果；（3）在所述阈值下，计算结果与所述阈值比较后输出测试结果；（4）根据测试结果计算阈值下的性能指标，根据性能指标人工选择最优阈值。

6.根据权利要求5所述的一种基于机器学习的侵权网页判断方法，其特征是，所述测试结果为：计算结果大于阈值输出为侵权，计算结果小于等于阈值输出为非侵权。

7.根据权利要求5所述的一种基于机器学习的侵权网页判断方法，其特征是，所述性能指标包括准确率、查准率和召回率，所述性能指标的计算方法为：准确率=（正确判断为侵权数 +正确判断为非侵权数） /测试样本数；查准率=正确判断为侵权数 / （正确判断为侵权数 + 错误判断为侵权数）；召回率=正确判断为侵权数 / 侵权样本数。

8.根据权利要求1所述的一种基于机器学习的侵权网页判断方法，其特征是，所述使用分析模型和阈值对网页进行分析判断是否为侵权网页的步骤如下：（1）网页数据根据词典生成使用词袋模型表示的特征向量；（2）所述特征向量输入分析模型中判断网页是否侵权；（3）在最优阈值下，计算结果大于最优阈值则判定为网页侵权，计算结果小于等于最优阈值则判定为非侵权。