[发明专利]一种基于集成学习的URL清洗系统及方法

摘要

本发明公开了一种基于集成学习的URL清洗系统及方法，其通过爬取网站的URL及其对应的网站标题；判断所述网站标题是否与指定的爬取主题一致，若是，则将所述网站标题标记为A类标题，否则标记为B类标题；对所标记的A类标题和B类标题分词处理，并根据分词结果进行朴素贝叶斯算法的训练和预测，并构造与分词结果相应的正则表达式；然后采用Stacking算法进行融合处理得到融合结果；最后采用决策树算法对所述融合结果进行训练和预测，得到决策树模型，并通过所述决策树模型对URL进行清洗；从而极大的提高了URL清洗效率，节省大量的人工检查时间，并提高了验证URL所对应网站标题的准确程度。

主权项

1.一种基于集成学习的URL清洗系统，其特征在于，包括：数据爬取模块，用于爬取网站的URL及其对应的网站标题；数据标记模块，其通过判断所述网站标题是否与指定的爬取主题一致，若是，则将所述网站标题标记为A类标题，否则标记为B类标题；初级预测模型一，用于对所标记的A类标题和B类标题进行分词，计算分词结果的权重值，然后用朴素贝叶斯算法对所述权重值进行训练和预测，得到初级预测模型一；初级预测模型二，用于对所标记的A类标题或B类标题进行分词并统计分词结果的词频，然后根据所述分词结果的词频进行构造所述分词结果相应的正则表达式，作为初级预测模型二；模型融合模块，其采用Stacking算法对所述初级预测模型一和所述初级预测模型二的训练数据和测试数据进行融合，得到融合结果；次级预测模型，其采用决策树算法对所述融合结果进行训练和预测，得到决策树模型，作为次级预测模型，并通过所述次级预测模型对URL进行清洗。