[发明专利]一种网络视频采集方法及系统

权利要求书

1.一种网络视频采集方法，其特征在于，所述视频采集方法包括：

对网络地址数据进行清洗处理；

根据清洗处理后的所述网络地址数据，生成网页抓取任务；

执行所述网页抓取任务，下载网页中的视频数据。

2.根据权利要求1所述的视频采集方法，其特征在于，所述对网络地址数据进行清洗处理包括：

通过MapReduce编程模型对存储在分布式文件系统中网络地址数据进行首次清洗处理；

将经过首次清洗处理后的网络地址数据转存至Hbase分布式存储系统；

利用HiveSql函数对所述Hbase分布式存储系统中的网络地址数据，进行二次清洗处理。

3.根据权利要求1或2所述的视频采集方法，其特征在于，所述清洗处理包括：删除不符合网络地址规则的网络地址数据、删除重复的网络地址数据中的一种或多种。

4.根据权利要求1所述的视频采集方法，其特征在于，所述生成网页抓取任务包括：

调取清洗处理后的网络地址数据；

将所述网络地址数据分为视频网络地址数据和非视频网络地址数据；

对所述视频网络地址数据进行流处理并保存；

根据所述非视频网络地址数据生成网页抓取任务。

5.根据权利要求4所述的视频采集方法，其特征在于，所述生成网页抓取任务还包括：

通过Kafka流处理平台调取清洗处理后的网络地址数据；

所述Kafka流处理平台将所述网络地址数据分为视频网络地址数据和非视频网络地址数据；

通过Storm分布式实时计算系统对所述视频网络地址数据进行流处理并保存；

所述Storm分布式实时计算系统根据所述非视频网络地址数据生成网页抓取任务。

6.根据权利要求1所述的视频采集方法，其特征在于，若所述执行网页抓取任务失败，则将所述网页抓取任务对应的网络地址数据保存至数据库服务器中，等待再次被调取执行。

7.根据权利要求1所述的视频采集方法，其特征在于，所述下载网页中的视频数据包括：下载所述网页抓取任务对应的网页中的视频数据、下载所述网页的链接网页中的视频数据。

8.一种网络视频采集系统，其特征在于，所述视频采集系统包括：

清洗单元，用于对网络地址数据进行清洗处理；

任务生成单元，用于根据清洗处理后的所述网络地址数据，生成网页抓取任务；

视频下载单元，用于执行所述网页抓取任务，下载网页中的视频数据。

9.根据权利要求8所述的视频采集系统，其特征在于，

所述清洗单元通过MapReduce编程模型对存储在分布式文件系统中的网络地址数据，进行首次清洗处理；

所述清洗单元将经过首次清洗处理后的网络地址数据转存至Hbase分布式存储系统；

所述清洗单元利用HiveSql函数对所述Hbase分布式存储系统中的网络地址数据，进行二次清洗处理。

10.根据权利要求8所述的视频采集系统，其特征在于，

所述任务生成单元调取清洗处理后的网络地址数据；

所述任务生成单元将所述网络地址数据分为视频网络地址数据和非视频网络地址数据；

所述任务生成单元对所述视频网络地址数据进行流处理并保存；

所述任务生成单元根据所述非视频网络地址数据生成网页抓取任务。