[发明专利]一种基于集成学习的URL清洗系统及方法

权利要求书

1.一种基于集成学习的URL清洗系统，其特征在于，包括：

数据爬取模块，用于爬取网站的URL及其对应的网站标题；

数据标记模块，其通过判断所述网站标题是否与指定的爬取主题一致，若是，则将所述网站标题标记为A类标题，否则标记为B类标题；

初级预测模型一，用于对所标记的A类标题和B类标题进行分词，计算分词结果的权重值，然后用朴素贝叶斯算法对所述权重值进行训练和预测，得到初级预测模型一；

初级预测模型二，用于对所标记的B类标题进行分词并统计分词结果的词频，然后根据所述分词结果的词频进行构造所述分词结果相应的正则表达式，作为初级预测模型二；

模型融合模块，其采用Stacking算法对所述初级预测模型一和所述初级预测模型二的训练数据和测试数据进行融合，得到融合结果；

次级预测模型，其采用决策树算法对所述融合结果进行训练和预测，得到决策树模型，作为次级预测模型，并通过所述次级预测模型对URL进行清洗。

2.根据权利要求1所述的一种基于集成学习的URL清洗系统，其特征在于：所述的数据爬取模块中，是根据爬取主题进行设置对应的爬取关键词，并利用Python爬虫进行获取所述爬取关键词相关联的URL，并同时爬取所述URL对应的网站标题。

3.根据权利要求2所述的一种基于集成学习的URL清洗系统，其特征在于：所述爬取主题为指定行业的公司类型或者指定领域的技术类别。

4.根据权利要求1所述的一种基于集成学习的URL清洗系统，其特征在于：所述的数据标记模块中，若所述网站标题与指定的爬取主题一致，则将所述网站标题标记为A类标题；若所述网站标题与指定的爬取主题不一致或为非法标题或为状态码不为200的服务器提示标题，则标记为B类标题。

5.根据权利要求1所述的一种基于集成学习的URL清洗系统，其特征在于：所述的初级预测模型一中，是通过计算所述A类标题和所述B类标题的分词结果的TF-IDF权重值，然后用朴素贝叶斯算法对TF-IDF权重值的训练和预测。

6.根据权利要求1所述的一种基于集成学习的URL清洗系统，其特征在于：所述的初级预测模型二中，对所述B类标题进行分词后，还进一步采用Python中的collections包里的Counter模块进行统计所述分词结果的词频，根据所述分词结果的词频进行构造所述分词结果相应的正则表达式。

7.根据权利要求1至6任一项所述的一种基于集成学习的URL清洗系统，其特征在于：所述的数据标记模块中将所述网站标题标记为A类标题和B类标题后，按预设比例将所述网站标题划分为初级训练集和初级测试集；所述初级预测模型一或所述初级预测模型二利用所述初级训练集和所述初级测试集进行模型的训练和测试。

8.根据权利要求7所述的一种基于集成学习的URL清洗系统，其特征在于：所述的模型融合模块中，对所述初级预测模型一和所述初级预测模型二训练数据和测试数据进行融合，进一步包括：

（1）采用Stacking算法将所述初级训练集和所述初级测试集分成k份数据集；

（2）对于第i份数据集，i=1～k，用剩余k-1份数据集作为次级训练集，分别对所述初级预测模型一和所述初级预测模型二进行训练，并以所述第i份数据集作为次级测试集，分别对所述初级预测模型一和所述初级预测模型二进行预测；

（3）重复步骤（2），直到完成所述k份数据集的每一份的预测，得到所述初级预测模型一和所述初级预测模型二的融合结果。