[发明专利]一种基于hadoop平台的提高视频转码效率的方法

说明书

技术领域

本发明涉及一种提高视频自适应效率的技术，尤其涉及一种基于hadoop（分布式系统基础架构）平台的视频转码的技术。

背景技术

视频服务作为一种典型的网络服务，具有广阔的市场发展规模和极大的发展潜力。但是视频处理要求的计算能力比较高，视频的编解码、实时处理等都需要大量的空域频域的变换，本身又要求的时效性比较强，对计算能力提出了很大的挑战。互联网和手机网络的不断发展以及多媒体平台的增多，对内容格式的要求也不尽相同，对视频的编码格式、编码规格、帧率、分辨率等要求迥异，因此对视频文件的转码变得必不可少。

传统的视频转码大多是在单机服务器或者采用分布式转码方案。这些方法虽然也能达到视频转码的目的，但是随着网络视频的爆炸性增长，这些方法变得捉襟见肘，传统的单机服务器式的转码方法由于自身性能的好坏而限制了转码时间，并且在高并发转码任务面前显得力不从心；当前大多采用的分布式转码方案，虽说解决了单机转码的高并发瓶颈，但是这类转码方案的实现十分复杂，视频分段的同步问题和视频分段后的合并问题十分显著，很难把握。

在对视频进行转码的时候，虽然采用分布式转码能承受高并发转码任务，但是负载不平衡、分段同步和视频合并问题突出，一些分布式转码策略试图解决这个问题，使它能有较高较好的转码效果，但是在网络带宽流量方面花费很大；在转码数据的分配方面造成负载失衡，出现了热点问题。

基于此，本发明在继续采用分布式转码策略的同时，基于hadoop平台，在HDFS（分布式文件系统）文件系统上解决分段同步和视频合并的难题，在减少带宽流量的同时大幅减少转码耗费的时间。

hadoop是一个开发和运行处理大规模数据的软件平台,实现在大量计算机组成的集群中对海量数据进行分布式计算。其最核心设计就是：HDFS和MapReduce。HDFS提供了海量数据的存储,MapReduce提供了对数据的计算。

发明内容

本发明解决的技术问题是：构建一种提高视频自适应技术的效率的方法，克服现有视频转码方面的高并发、视频分段同步、视频合并、网络带宽流量耗费大、负载失衡的问题。

一种基于hadoop平台的提高视频转码效率的方法，包括如下步骤：

步骤100：视频作业配置模块处理用户输入的视频处理配置信息，将视频处理任务打包成作业对象发送给作业队列管理模块，然后视频作业配置模块通知视频分割模块将原始视频进行分割；

步骤200：视频分割模块分割好视频后，将分割结果送给视频传输模块；

步骤300：视频传输模块将分割好的文件上传到分布式文件系统HDFS；

步骤400：作业队列管理模块监控作业队列，从作业队列中取出作业对象，构造出和作业对象对应的并行框架作业，上传到计算框架MapReduce(分布式数据处理编程模型，用于大规模数据集的并行运算)；

步骤500：计算框架MapReduce根据框架作业对上传到HDFS上的视频分片进行转码操作和合并操作；

步骤600：一个视频作业完成后，MapReduce通知作业队列管理模块，将作业对象从作业队列中删除；

步骤700：作业队列管理模块将视频转码后的视频的信息存入数据库。

作为本发明的进一步改进，视频分割时，通过文件总帧数和分割片段的个数来估算文件的大致的截断位置，然后遍历文件的时间标签，查找截断点的精确位置。

作为本发明的进一步改进，视频分割时，增加或者删除前一个或者后一个gop的一些帧。

作为本发明的进一步改进，视频转码时，以流的形式打开视频，除了视频流外还有音频流，然后通过视频文件流的特定标志将视频画面的信息包取出，当包可以组成一个视频帧的时候，获取视频流及其格式信息，取得相应的解码器进行解码，再取得目标格式的编码器将解码后的视频帧重新编码，循环此过程到所有的视频帧处理完毕。

作为本发明的进一步改进，在压缩视频帧解码后，调用多个视频解码器对解码后的视频帧进行编码。在处理视频帧时，不对每种要转换的目标格式进行视频解码，而是在压缩视频帧解码后，调用多个视频编码器，对解码后的视频帧进行编码。

作为本发明的进一步改进，步骤500中，hadoop平台调用map()[映射函数：对一些独立元素组成的概念上的列表的每一个元素进行指定的高度并行的操作]和转码功能，对视频片段进行转码，生成的视频片段转码结果交付给reduce()[化简函数：对一个列表的元素进行适当的高度并行的合并操作]进行合并操作，然后把合并后的视频上传到HDFS文件系统。