[实用新型]一种集群式图像运算系统

说明书

所属技术领域

本实用新型涉及了数字电影领域内一种集群式图像运算系统。

背景技术

由于胶片电影的原始素材转换为数字格式后视频数据的数据量巨大(一般一部放映时长2小时的电影数字化后的视频数据量大约在1.5T-4T)所以在数字电影制作过程中必须对视频数据进行压缩，目前JPEG 2000压缩方法逐渐成为数字电影方面主流的压缩方法，但是JPEG2000算法在处理每一帧图像上的时间较漫长，一般来说处理通常一部2小时的电影一台计算机采用通常方式压缩要占用48小时进行压缩制作，目前在视频压缩的过程中使用多台计算机采用集群的方式并行处理。采用一般的处理流程是，把未压缩的视频图像序列和音频数据部署到一台数据源服务器上，其他压缩客户端分别读取数据源服务器上的视频序列进行压缩，然后把压缩后的数据存放到目标服务器上，在全部视频数据压缩和音频数据处理完成后，再进行数字电影的后续制作过程。但是这种方法存在一个问题，源数据服务器由于硬盘读写速度和网络带宽的限制在多个压缩客户端同时从源数据服务器读取数据时，源数据服务器的传输带宽成为系统的瓶颈，制约了系统的并发程度和和整个系统的压缩效率；并且在一定的条件下不可能在提高源数据服务器的硬件配置来大幅提高源数据服务器的传输带宽。因此我们公开一种基于多个数据源服务器JPEG 2000的集群式图像运算系统来解决上述问题。

发明内容

本实用新型的目的就是解决了源数据服务器的传输瓶颈问题，大幅缩短整部影片的压缩时间。

本实用新型解决技术问题所采用的技术方案是：首先，把数字化以后的电影视频数据分段部署到多个源数据服务器上。考虑到硬件成本和大容量硬盘已经成为主流等客观情况，可以把源数据服务器和压缩客户端部署到同一台计算机硬件上组成压缩客户端和源数据服务器模块。设立一台控制服务器，负责控制数字电影制作的各个阶段的执行过程。考虑到硬件成本和系统部署的方便，可以把控制服务器和目标服务器部署到同一台计算机硬件上组成为控制服务器&目标服务器模块。控制服务器按照预先定义好的规则检测各个源数据服务器上视频数据的完整性。根据分发策略控制程序，控制服务器控制各个压缩客户端分别从哪一个源数据服务器上读取原始的视频数据。各压缩客户端并行执行JPEG2000压缩算法，把相应的原始视频图像序列压缩成JPEG 2000视频图像序列。压缩后的JPEG 2000视频图像序列通过高速网络传输到目标服务器上，供数字电影的后续制作过程使用。

本实用新型的有益效果是：可以使播放时间与压缩时间的比值大于1，也就是说处理通常一部2小时的电影压缩时间可以缩短到与播放时间相同及压缩时间也为2小时。

附图说明

图1为系统结构图。

图中：

101为高速网络。

102为控制服务器&目标服务器模块。

103为压缩客户端和源数据服务器模块。

104为压缩客户端模块。

具体实施方式

原始的胶片素材数字后，数字格式的影片视频数据分段分别部署到多台源数据服务器上，为了保证数据的读取速度和数据的稳定；数据存储采用RAID5存储架构。考虑到硬件成本和大容量硬盘已经成为主流等客观情况。可以把源数据服务器和压缩客户端部署到同一台计算机硬件上。考虑JPEG2000算法的压缩速度、硬盘读取文件的速度和高速网络的传输速度。压缩客户端和源数据服务器的个数比值应在1-3。

初始化控制服务器和各客户端、控制服务器建立连接，读取各客户的配置信息；同时控制服务器获取各个源数据服务器的信息，为压缩过程做好准备。对部属到各个源数据服务器上视频数据进行完整性检查，包括视频帧是否缺失，每一帧视频数据是否正确，是否存在重复帧等情况。

控制服务器根据分发策略控制程序控制各个压缩客户端分别从不同源数据服务器上读取视频数据。分发策略控制程序采用流水线式设计，在整个的视频压缩过程中保证读取数据和向客户端发送数据同时进行，从而提高系统的效率。

压缩客户端把从源数据服务器读取的视频数据放入高速缓存，然后使用JPEG2000压缩算法对视频数据进行压缩。客户端同样采用流水线式设计，保证接收数据，数据压缩和把压缩后的数据发送到目标服务器上的任务能同时运行，从而提高系统的效率。

客户端把压缩后的JPEG2000视频数据发送到目标数据服务器上，目标数据服务器，目标数据服务器对压缩后数据进行正确性检查。然后把压缩后的数据按指定格式存储，供数字电影的后续制作过程使用。最后分发策略控制程序检测压缩是否完成。