[发明专利]视频网站的信息抓取方法

权利要求书

1.一种视频网站的信息抓取方法，其特征在于，包括步骤：

S1、抓取视频网站的网页的源文件；

S2、针对不同格式的网页，指定不同的正则表达式集合对所述网页的源文件中视频节目的属性信息进行定位，产生定位结果；

S3、根据所述定位结果，将所述网页的源文件与所述正则表达式集合中的正则表达式进行匹配，产生匹配结果；

S4、根据所述匹配结果，将所述网页的源文件中视频节目的属性信息存入相应的属性库中。

2.根据权利要求1所述的视频网站的信息抓取方法，其特征在于，步骤S3包括步骤：

S31、根据所述定位结果，对所述网页的源文件与本地标签库进行对比，产生对比结果；

S32、根据所述对比结果，过滤所述网页的源文件；

S33、将过滤后的网页的源文件与所述正则表达式集合中的正则表达式进行匹配，产生匹配结果。

3.根据权利要求1所述的视频网站的信息抓取方法，其特征在于，步骤S1之前包括步骤：

S01、解析所述网页的当层链接，得到下一层链接；

S02、重复步骤S01直到最大抓取时间；

S03、根据所述网页链接的解析结果得到待抓取的网页。

4.根据权利要求3所述的视频网站的信息抓取方法，其特征在于，所述步骤S03包括：

S031、确定待抓取的域名范围和所述网页链接的过滤正则；

S032、根据所述域名范围和过滤正则对所述网页进行过滤；

S033、根据所过滤后的网页链接的解析结果得到待抓取的网页。

5.根据权利要求3所述的视频网站的信息抓取方法，其特征在于，步骤S01包括：

S011、建立存放域名以及对应的字符集的域名字符集集合；

S012、提取待解析链接中的子域名；

S013、如果所述域名字符集集合中存在所述子域名，则直接提取相应的域名字符集进行解析，如果所述域名字符集集合中不存在所述子域名，则对所述子域名进行解析并将所述子域名以及对应的域名字符集存入所述域名字符集集合中。

6.根据权利要求1所述的视频网站的信息抓取方法，其特征在于，

如待抓取的网页为跳转网页，则步骤S1之前包括步骤：

S81、编写对应的所述跳转网页的URL规则以及所述跳转网页中的节目下载链接的URL规则的跳转正则；

S82、根据所述跳转正则提取所述跳转网页；

S83、解析所述跳转网页的链接；

S84、根据所述跳转网页的链接的解析结果得到待抓取的网页。

7.根据权利要求1所述的视频网站的信息抓取方法，其特征在于，

如待抓取的网页为包含异步信息的网页，则步骤S1之前包括步骤：

S91、编写所述包含异步信息的网页中的节目id值以及异步请求URL规则的异步正则；

S92、根据所述异步正则提取所述包含异步信息的网页的异步信息；并通过所述异步信息得到异步请求链接；

S93、解析所述异步请求链接；

S94、根据所述异步请求链接的解析结果得到待抓取的网页。

8.根据权利要求1所述的视频网站的信息抓取方法，其特征在于，

如待抓取的网页需要使用代理访问，则步骤S1之前包括步骤：

设置代理服务器的IP、代理端口以及代理用户名密码。

9.根据权利要求1所述的视频网站的信息抓取方法，其特征在于，如具有多个抓取出口IP，指定出口IP对所述网页的源文件进行抓取。