[发明专利]一种基于机器学习的网页代理发现方法

权利要求书

1.一种基于机器学习的网页代理发现方法，步骤包括：

通过爬虫主动获取代理及非代理的网页数据集；

从所述网页数据集中分别抽取URL特征和DOM特征，根据该URL特征和/或DOM特征构建一含有多维特征的向量作为训练集；

利用机器学习方法在所述训练集上构建模型并进行训练，通过训练出的模型进行网页代理识别。

2.根据权利要求1所述的方法，其特征在于，所述网页数据集包括URL和网页内容。

3.根据权利要求1所述的方法，其特征在于，所述URL特征包括：数字、敏感词汇、特殊符号、IP域名、嵌入域名、顶级域名使用非常用域名以及URL生效生存期短。

4.根据权利要求1所述的方法，其特征在于，所述DOM特征包括：表单、Javascript特征。

5.根据权利要求4所述的方法，其特征在于，所述表单包括：

结构特征：包括一输入框和位于输入框下方的多个可选的复选框；

属性特征：复选框值含有敏感词汇，action属性值含有敏感字符串。

6.根据权利要求4所述的方法，其特征在于，所述Javascript特征包括函数属性值含有敏感字符串。

7.根据权利要求1所述的方法，其特征在于，所述抽取包括三种方法：

1)针对所述URL特征，通过URL正则表达式进行字符串检测，通过请求域名的whois信息计算URL生效生存期；

2)针对所述DOM特征，通过Beautiful Soup find_all()方法进行解析；

3)通过python式的函数处理导航、搜索、修改分析树功能。

8.根据权利要求1所述的方法，其特征在于，通过爬虫主动获取代理及非代理的测试集，从该测试集抽取URL特征和DOM特征，构建特征向量并进行代理识别，与所述通过训练出的模型进行网页代理识别的结果进行对比分析。

9.根据权利要求1所述的方法，其特征在于，所述机器学习方法包括Logistic Regression、Bayes、SVM-linear及SVM-RBF。

10.根据权利要求1所述的方法，其特征在于，如果代理识别结果存在误差，则将其错误样例加入训练集中重新进行模型训练。