[发明专利]一种监测视频更新的方法和装置

摘要

本发明提供了一种监测视频更新的方法和装置，以解决现有的监测方案监测效率低、监测结果不准确的问题。其中，方法包括：按照预设周期确定至少一个视频网站中待监测的视频的URL；从URL对应的网页中抓取视频的视频信息；根据视频信息监测视频是否更新；若更新，则获取视频的更新信息，并将视频的视频信息和更新信息保存至数据库中。本发明能够保证监测结果更加实时、准确，监测效率更高，根据各个视频网站中的视频的更新情况可以分析自身的视频网站中视频更新较慢的原因，从而为视频网站的改进提供有利的依据。

主权项

1.一种监测视频更新的方法，其特征在于，包括：按照预设周期确定至少一个视频网站中待监测的视频的URL；从所述URL对应的网页中抓取所述视频的视频信息，其中将未抓取的网页对应的URL标记为待抓取URL；调度爬虫进程访问所述待抓取URL，从该待抓取URL对应的网页中抓取所述视频的视频信息，并将已抓取的网页对应的URL标记为已抓取URL；判断是否存在剩余的待抓取URL，若存在，则返回所述调度爬虫进程访问所述待抓取URL，从该待抓取URL对应的网页中抓取所述视频的视频信息的步骤；其中，同时调度多个爬虫进程访问多个待抓取URL；所述从该待抓取URL对应的网页中抓取所述视频的视频信息包括：分析待抓取URL对应的网页，得到该网页对应的DOM树结构信息；确定需要抓取的视频的视频信息在所述DOM树结构中的节点位置信息；从所述节点位置信息对应的节点抓取视频信息；根据所述视频信息监测所述视频是否更新；若更新，则获取所述视频的更新信息，并将所述视频的视频信息和更新信息保存至数据库中；其中，所述按照预设周期确定至少一个视频网站中待监测的视频的URL的步骤包括：按照预设周期分别对所述至少一个视频网站的网站信息进行分析，得到所述至少一个视频网站中待监测的视频的URL；其中，在所述分别对所述至少一个视频网站的网站信息进行分析，得到所述至少一个视频网站中的待监测视频的URL的步骤之前，还包括：确定所述至少一个视频网站的入口地址，所述入口地址为视频网站的导航页的URL；调度爬虫进程访问所述至少一个视频网站的入口地址，获取所述至少一个视频网站的网站信息，包括：调度爬虫进程访问所述至少一个视频网站的入口地址，从所述视频网站的入口地址对应的网页中抓取所述视频网站的预设频道的入口地址；调度爬虫进程访问所述预设频道的入口地址，从所述预设频道的入口地址对应的网页中抓取所述预设频道中的视频的标识和视频的URL；将该视频网站的预设频道中的视频的标识和视频的URL作为该视频网站的网站信息。