[发明专利]一种基于卷积神经网络的图像爬虫优化方法

摘要

一种基于卷积神经网络的网络爬虫优化方法，包括以下步骤：1)利用网络爬虫从各网站爬取初始数据，人工将数据分为无噪声数据集Free_Noisy和完全噪声数据集Pure_Noisy；2)使用初始数据集训练NoisyCNN网络；3)利用网络爬虫开始对主流搜索引擎和图像分享网站中搜集大量目标分类的图像数据，同时定期执行步骤4；4)利用NoisyCNN网络对数据筛选，将数据将分为Weak_Noisy和Pure_Noisy；5)使用扩充后数据更新NoisyCNN网络；6)判断Pure_Noisy数据量是否合理，决定是否继续爬虫；7)停止爬虫。本发明能有效减少数据噪声、提升工作效率。

主权项

1.一种基于卷积神经网络的图像爬虫优化方法，其特征在于：所述方法包括以下步骤：S1：利用网络爬虫从各网站爬取图像数据，人工将数据分为无噪声数据集Free_Noisy和完全噪声数据集Pure_Noisy；S2：使用Free_Noisy数据集训练NoisyCNN网络，得到一个初始识别子类的图像分类器，对输入的图像输出该图像属于每一子类的概率，按概率从大到小排列子类名单；S3：利用网络爬虫开始对主流搜索引擎和图像分享网站中搜集大量目标分类的图像数据，同时定期利用NoisyCNN网络筛选数据；S4：利用NoisyCNN网络对数据判断，将数据将分为Weak_Noisy和Pure_Noisy；所述步骤S4包括以下步骤：S4.1：使用NoisyCNN网络对爬虫获取到的数据进行判决；S4.2：如果数据标签与NoisyCNN判定的前五个可能的标签中一个相符，则认为该数据有很大可能属于目标分类，判定该数据属于Weak_Noisy，保存该数据至Weak_Noisy数据集；S4.3：如果数据标签与NoisyCNN判定的前五个可能的标签，没有一个相符，则认为该数据标签与其真实分类不符，判定该数据属于Pure_Noisy，保存该数据至Pure_Noisy数据集；S4.3：执行步骤S5；S5：使用扩充后的数据更新NoisyCNN网络；S6：判断Pure_Noisy数据量的合理性：统计Pure_Noisy数据集占总数据集的比例，若未超过预设阈值则执行步骤S3，否则执行步骤S7；S7：停止爬虫。