[发明专利]动态图表类页面数据爬取方法、装置、终端及存储介质

摘要

一种动态图表类页面数据爬取方法，包括：采用自动化测试工具启动浏览器，输入待爬取数据的网站的链接；从待爬取数据的网站中爬取与用户输入的爬取关键词相关的页面信息；对爬取到的页面进行渲染并解析；通过自动化测试工具对解析后的页面进行截图得到截图图片并保存截图图片；根据预先训练的图片识别模型对截图图片进行识别，得到截图图片中的内容；判断待爬取数据的网站及对应爬取关键词的页面是否已遍历完；当确定都已被遍历过，则结束流程；否则，继续执行上述过程。本发明还提供一种动态图表类页面数据爬取装置、终端及存储介质。本发明能够自动爬取动态加载的图表类数据且能识别出图片中的内容。

主权项

1.一种动态图表类页面数据爬取方法，其特征在于，所述方法包括：a)采用自动化测试工具启动浏览器，输入待爬取数据的网站的链接；b)从所述待爬取数据的网站中爬取与用户输入的爬取关键词相关的页面信息；c)对爬取到的页面进行渲染并解析；d)通过所述自动化测试工具对解析后的页面进行截图得到截图图片并保存所述截图图片；e)根据预先训练的图片识别模型对所述截图图片进行识别，得到所述截图图片中的内容；f)判断所述待爬取数据的网站及对应所述爬取关键词的页面是否已遍历完；及当确定所述待爬取数据的网站及对应所述爬取关键词的页面都已被遍历过，则结束流程；或者当确定所述待爬取数据的网站及对应所述爬取关键词的页面未被遍历完，则继续执行上述b)至f)。