[发明专利]一种基于机器学习的侵权网页判断方法

说明书

本发明公开了一种基于机器学习的侵权网页判断方法，包括：网页源数据预处理生成训练集和测试集；使用训练集生成分析模型、测试集测试不同阈值下分析模型的性能指标及人工选择最优阈值；使用分析模型和最优阈值对网页进行分析判断是否为侵权网页。本发明解决了现有采用人工审核网页是否侵权成本高昂、没有统一审核标准导致审核缓慢的技术问题。

技术领域

本发明涉及互联网应用领域，尤其涉及一种基于机器学习的侵权网页判断方法。

背景技术

网页侵权是网络侵权的一种类型，也是现代社会知识侵权的一种形式，网页侵权的本质与知识侵权是相同的，即行为人由于过错侵害他人的财产和人身权利。目前的互联网上存在大量网页，其中有一部分包括了盗版付费资源下载、盗版付费资源宣传等侵权网页，以此向用户收费或者吸引广告主的资金投入，以此达到赢利为目的。当然，侵权人是否以赢利为目的并不影响侵权的构成。目前对于这部分侵权网页的判定主要以人工审核的方式进行，人工进行侵权网页的审核与判定存在有以下缺点：1、人力成本高：包括人工雇佣成本、培训成本等；2、侵权网页判定准确率控制困难：通过人工进行审核主要通过个人经验进行判定，对部分隐藏较深的网页难以进行判断；3、时效性差：人工审核的速度较为缓慢，在人工审核过程之中侵权网页已经对版权方造成利益损失难以挽回。

发明内容

为解决现有采用人工审核网页是否侵权成本高昂、没有统一审核标准导致审核缓慢的技术问题，本发明设计了一种基于机器学习的侵权网页判断方法。

本发明采用如下技术方案：

一种基于机器学习的侵权网页判断方法，包括：网页源数据预处理生成训练集和测试集；使用训练集生成分析模型、测试集测试不同阈值下分析模型的性能指标及人工选择最优阈值；使用分析模型和最优阈值对网页进行分析判断是否为侵权网页，所述网页源数据包括网页标题、网页文本和网页侵权标签，所述网页源数据生成训练数据和测试数据，所述训练数据构建形成词典，所述词典使用词袋模型将训练数据生成训练集，所述训练集包括训练特征向量和数据标签，所述词典使用词袋模型将测试数据生成测试集，所述测试集包括测试特征向量和数据标签，所述数据标签使用“0”或“1”分别表示“非侵权”和“侵权”，所述分析模型通过所述训练集搭建全连接神经网络得到，所述分析模型包括输入层、隐藏层a、隐藏层b和输出层，所述输入层内设置存储单元，所述隐藏层a、隐藏层b和输出层内均设置计算单元，所述存储单元存储输入数据，所述计算单元表示一次数学计算，所述输入层的存储单元数为5000，所述隐藏层a的计算单元数为1000，所述隐藏层b的计算单元数为300，所述输出层的计算单元数为1，所述隐藏层a设置有激活函数LeakReLU，所述隐藏层b设置有激活函数tanh，所述输出层设置有激活函数sigmoid。

作为优选，所述网页源数据生成训练数据和测试数据步骤如下：（1）随机打乱网页源数据；（2）取打乱后网页源数据的80%生成训练数据，取打乱后网页源数据的20%生成测试数据。

作为优选，所述训练数据构建形成词典步骤如下：（1）所述训练数据进行中文分词处理；（2）取词语长度≥2、频率最高的5000个词语构建形成词典。

作为优选，所述分析模型输入训练集得出差值最小化参数，其步骤如下：（1）所述分析模型中输入所述训练特征向量，所述训练特征向量顺序通过输入层存储单元、隐藏层a计算单元、激活函数LeakReLU、隐藏层b计算单元、激活函数tanh、输出层计算单元、激活函数sigmoid输出0-1之间的计算数值；（2）通过比较计算数值与数据标签的差值，反向调节所述计算单元的参数，得出基于训练集的差值最小化参数。

作为优选，所述测试集测试分析模型、人工选择阈值的步骤如下：（1）人工设置阈值；（2）将测试特征向量输入所述分析模型中得到测试数值，测试数值与所述差值最小化参数进行差值计算得到计算结果；（3）在所述阈值下，计算结果与所述阈值比较后输出测试结果；（4）根据测试结果计算阈值下的性能指标，根据性能指标人工选择最优阈值。