[发明专利]一种基于分布式的视频转码方法

说明书

本发明提供了一种基于分布式的大规模视频转码系统，属于大数据与视频处理技术领域。本发明方法在大数据处理平台Hadoop上采用分布式的方法最终实现大规模的视频转码，该方法利用HDFS文件系统对大规模视频数据进行储存，利用MapReduce编程模型进行分布式处理，借助多媒体库Xuggler实现对视频的处理。本发明利用分布式文件系统的扩展性和稳定性特点实现对大规模视频数据的储存与转码，解决传统集中式储存对硬件要求高、维护困难、不易扩展等缺点，动态地适应日益增长的大规模视频数据的储存和转码需求。

技术领域

本发明属于大数据与视频处理技术领域，涉及分布式平台上的海量视频的转码处理，尤其涉及一种基于分布式的大规模视频转码方法。

背景技术

由于互联网及手机网络的不断发展，涌现出越来越多的媒体传播的平台，加之手机普遍都具备摄像功能，便携式的摄像机的使用也变得很普遍，视频的制作和发布变得非常简单，人们每天都会制作出大量的视频数据并分享到互联网上，同时低功率的摄像传感器网络及视频监控网络也得到了大量应用，使得每天新产生的视频数据出于持续增长的状态。由于网络的异构性和终端播放设备的多样性，往往需要将视频文件进行格式转换，以满足不同的应用需求，转换内容包括改变视频的编码格式、分辨率、比特率等属性。视频转换工作十分消耗计算资源，CPU占用率很高，在进行格式转换任务时，其他的任务很难得到处理，因此有必要将视频转码作业从单机系统中脱离出来进行处理。传统的视频转码是集中式的，在处理大量的视频数据的时候有很大的局限性，其计算能力很难随着数据量变大而线性增长。分布式计算技术的发展为解决这个问题提供了可能。

发明内容

本发明要解决大规模视频的转码问题，针对视频转码的效率，提出一种基于分布式的大规模视频转码方法，实现在大数据处理平台Hadoop的基础上，完成分布式的大规模视频转码过程。

为了实现上述目的本发明采用以下技术方案：

一种基于分布式的视频转码方法，其流程如图1所示，具体包括以下步骤：

步骤1.上传视频文件：将需要转码的大量源视频数据上传至Hadoop平台的HDFS文件系统上；

步骤2.对已上传至HDFS的源视频数据进行预处理：通过Hadoop平台提供的InputFormat接口，将每个源视频文件解析成一个相应的键值对<key,value>，其中，key为视频文件名，value为转码参数信息，其包括视频的保存位置、源视频格式信息及转码的目标视频格式信息；

步骤3.将源视频文件进行分割：在Hadoop平台上启动第一MapReduce任务作业，利用Xuggler多媒体处理库对每一个源视频进行分割，其中Map函数的输入为通过步骤2预处理得到的键值对<key,value>，通过读取每个键值对包含的视频信息，对相应的视频数据进行分割操作；该MapReduce作业输出通过分割而得的视频分块及相应的键值对信息，该键值对信息包括每个视频分块的源视频文件信息及该视频分块在源视频中的位置；分割得到的视频分块可进行单独的转码操作；

步骤4.对步骤3经分割得到的视频分块按目标视频格式进行转码：在Hadoop平台上启动第二MapReduce作业，利用Xuggler多媒体处理库对每一个视频分块进行转码，其中，该作业的Map函数的输入为处理步骤3得到视频分块的键值对信息，得到转码后的视频分块及相应的键值对信息，该键值对信息包括每个视频分块的源视频文件信息及该视频分块在源视频中的位置；完成转码后，第二MapReduce作业的Reduce函数通过读取本步骤所得的键值对信息，将同属于一个源视频文件的转码后的视频分块按时间位置顺序进行组合获得相应的转码后目标视频，由此完成源视频到目标视频的转码过程。