[发明专利]面向网络视频的分布式采集方法和系统

权利要求书

1.一种面向网络视频的分布式采集方法，其特征在于，所述方法，包括下列步骤：

步骤100，利用预先定制的正则表达式与每一个视频网页的统一资源定位符进行匹配，识别出可能包含视频的网页；

步骤200，从视频网站并行下载所述可能包含视频的网页，分别对下载的所述可能包含视频的网页进行网页结构分析，识别出有效的视频网页的链接地址，并将所述网页结构分析结果合并后存储；

步骤300，根据所述有效的视频网页的链接地址，获取所述有效的视频网页中隐藏的视频的链接地址，并分析所述视频的链接地址以获取真实的视频的链接地址，下载并存储所述真实的视频的链接地址对应的视频；

所述步骤200，包括下列步骤：

步骤210，通过与视频网站的HTTP链接获取网页数据流，并行下载所述可能包含视频的网页；

步骤220，利用开源工具对所述可能包含视频的网页进行解析，形成半结构化的HTML数据格式，识别出有效的视频网页的链接地址；

步骤230，将每个节点解析出的包含网页自身信息和其中的链接数据的信息，分发给其他节点，并接收来自其他节点的信息；

步骤240，将所有视频网页的信息按照被采集链接的统一资源定位符的MD5值排序后存储。

2.根据权利要求1所述的面向网络视频的分布式采集方法，其特征在于，所述步骤220，包括下列步骤：

步骤221，将利用开源工具解析出的链接信息再次与预先设定的视频网站统一资源定位符的正则表达式进行匹配，识别出有效的视频网页的链接地址；

步骤222，分析采集到的网页的页面内容的MD5值，判断哪些网页虽然链接地址不同但是视频内容重复，忽略被判断为内容重复的网页。

3.根据权利要求1所述的面向网络视频的分布式采集方法，其特征在于，所述步骤230，包括下列步骤：

步骤231.所述节点将采集的链接数据按照定位二叉树机制，以采集的链 接的统一资源定位符为键值分发到对应的其他节点上；

步骤232.所述节点还将可能含有视频的网页的链接根据定位二叉树发送到相应的其他节点，为视频下载提供数据源。

4.根据权利要求1所述的面向网络视频的分布式采集方法，其特征在于，步骤240中，所述存储分为：

磁盘数据的存储，是将采集的数据存储在磁盘中，并按照被采集链接的统一资源定位符的MD5值建立一个B+树结构的索引表；

数据缓存，将采集的数据缓存在内存中，通过控制每一轮采集数据的数量来控制当前采集结果的缓存的规模上限。

5.根据权利要求1所述的面向网络视频的分布式采集方法，其特征在于，所述步骤300，包括下列步骤：

步骤310，通过分析所述有效的视频网页的链接的统一资源定位符或检测视频播放时的流媒体地址获取视频的链接地址；

步骤320，分析获取的所述视频的链接地址的前缀和后缀以获取真实的视频的链接地址；

步骤S330，根据获取到的真实的视频的链接地址，利用已有的视频下载工具下载视频并支持断点续传；

步骤S340，采用4级目录的结构存储下载的视频节目。

6.根据权利要求5所述的面向网络视频的分布式采集方法，其特征在于，所述步骤320，包括下列步骤：

步骤321，浏览器打开网页：利用IE浏览器打开待分析的视频网页，若内嵌的视频对象能够自动播放，在捕获浏览器接收的流媒体数据包时检测流媒体内容的扩展名，然后在扩展名之前检测特定的协议头标识，从协议头标识到扩展名之间的字符串中获取流媒体链接地址，获取完流媒体地址后自动关闭浏览器进程；若不能获取视频地址，则会设置响应时间，若在响应时间内仍不能获取地址，则转入步骤322；

步骤322，模拟点击播放：在超过步骤321中设置的响应时间后，通过HTML解析器定位到网页中内嵌的object对象和embed对象所在的节点，获取该节点在客户端窗口中的坐标，并模拟用户在视频窗口中的点击行为，使得视频开始播放，从而获取流媒体地址；同样设置响应时间，若仍不能获取视频地址， 则认为该视频下载失败。