[发明专利]动态图表类页面数据爬取方法、装置、终端及存储介质

权利要求书

1.一种动态图表类页面数据爬取方法，其特征在于，所述方法包括：

a）采用自动化测试工具启动浏览器，输入待爬取数据的网站的链接；

b）从所述待爬取数据的网站中爬取与用户输入的爬取关键词相关的页面信息；

c）对爬取到的页面进行渲染并解析；

d）通过所述自动化测试工具判断解析后的页面中是否存在图表，当确定解析后的页面中不存在图表时，爬取解析后的页面中的信息，并根据预先设置的数据格式保存爬取到的信息，当确定解析后的页面中存在图表时，通过所述自动化测试工具的驱动程序指示所述浏览器在内核中对所述解析后的页面中的图表进行截图得到截图图片；

e）根据预先训练的图片识别模型对所述截图图片进行识别，得到所述截图图片中的内容；

f）判断所述待爬取数据的网站及对应所述爬取关键词的页面是否已遍历完；及

当确定所述待爬取数据的网站及对应所述爬取关键词的页面都已被遍历过，则结束流程；或者

当确定所述待爬取数据的网站及对应所述爬取关键词的页面未被遍历完，则继续执行上述b）至f）。

2.如权利要求1所述的方法，其特征在于，所述通过所述自动化测试工具对解析后的页面进行截图得到截图图片并保存所述截图图片包括：

计算所述截图图片的感知哈希值；

判断所述截图图片的感知哈希值与已截图图片的感知哈希值之间的相似度是否大于预先设置的相似度阈值；

当确定所述截图图片的感知哈希值与已截图图片的感知哈希值之间的相似度大于预先设置的相似度阈值时，删除所述截图图片。

3.如权利要求2所述的方法，其特征在于，所述通过所述自动化测试工具对解析后的页面进行截图得到截图图片并保存所述截图图片还包括：

当确定所述截图图片的感知哈希值与已截图图片的感知哈希值之间的相似度小于或者等于预先设置的相似度阈值时，将所述截图图片及对应的解析后的页面进行关联存储于预先设置的特定的位置。

4.如权利要求1所述的方法，其特征在于，所述预先训练的图片识别模型的训练过程包括：

获取多张图片；

对所述多张图片进行预处理，得到待参与训练图片识别模型的数据集；

采用交叉验证的方法对所述数据集进行划分为训练集及测试集；

在所述训练集中随机选择第一预设数量的训练集训练图片识别模型；

利用所述测试集测试所训练的图片识别模型的准确率；

若所述准确率大于或者等于预设准确率阈值，则训练结束；

若所述准确率小于所述预设准确率阈值，则重新训练图片识别模型。

5.如权利要求4所述的方法，其特征在于，所述重新训练图片识别模型包括：

从所述训练集中除所述第一预设数量的训练集之外的训练集中，增加第二预设数量的训练集至所述第一预设数量的训练集中，直至所训练的图片识别模型的准确率大于或者等于所述预设准确率阈值。

6.如权利要求5所述的方法，其特征在于，所述第二预设数量为预先设置的固定值，或者预先设置的比例值，或者所述第一预设数量的预设比例值。

7.一种动态图表类页面数据爬取装置，其特征在于，所述装置包括：

启动模块，用于采用自动化测试工具启动浏览器，输入待爬取数据的网站的链接；

爬取模块，用于从所述待爬取数据的网站中爬取与用户输入的爬取关键词相关的页面信息；

解析模块，用于对爬取到的页面进行渲染并解析；

截图模块，用于通过所述自动化测试工具判断解析后的页面中是否存在图表，当确定解析后的页面中不存在图表时，爬取解析后的页面中的信息，并根据预先设置的数据格式保存爬取到的信息，当确定解析后的页面中存在图表时，通过所述自动化测试工具的驱动程序指示所述浏览器在内核中对所述解析后的页面中的图表进行截图得到截图图片；

识别模块，用于根据预先训练的图片识别模型对所述截图图片进行识别，得到所述截图图片中的内容。