[发明专利]一种块存储录像的分布式备份方法和系统

说明书

技术领域

本发明涉及存储技术领域，尤其涉及一种块存储录像的分布式备份方法和系统。

背景技术

随着高清在监控业务系统中的应用，对监控录像存储的可靠性、性能等要求越来越高。而前端IP编码器设备到IPSAN的端到端的媒体流iSCSI直存技术就是一种较好的录像存储方案。在存储方式上，“媒体流块直存”的数据管理方式抛弃了媒体服务器。在IP网络的基础上，在编码设备中集成了iSCSI模块，使得编码设备可以基于iSCSI协议端到端的把录像数据写入IPSAN存储设备中，请参图1。

当监控点的图像需要进行集中存储时，前端IP编码器与IPSAN设备建立iSCSI连接，将IPSAN设备的存储资源通过iSCSI协议挂载到本地，然后将存储视频流进行iSCSI协议封装，采用专有的块存储格式将媒体与时间索引数据写入IPSAN存储设备中。

图2给出了一种通用的监控录像块存储格式。该块格式的主要组成部分如下：

(1)超级块：一般有几十K(比如16K)字节，用来记录块格式的版本号、摄像机编码；

(2)一级时间索引区：超级块后面为一级时间索引区，索引区中的每条时间索引与一个数据单元一一对应，用于记录该数据单元的最早I帧组的时间，从而可以基于时间快速定位到某个数据单元；

(3)数据单元及二级时间索引区：一级时间索引区后面是一系列的数据单元，用于保存录像的I帧组数据。为了保证I帧组数据的连续写入，数据单元一般达到几百M字节(比如256M字节)。每个数据单元是以一个二级时间索引区开始的，其中每条时间索引项与一个I帧组一一对应，用于记录该I帧组的开始时间，从而可以基于时间快速定位某个I帧组。二级索引区之后，就是本数据单元中的所有I帧组数据；

(4)I帧组：一个I帧组就是1秒的监控录像数据。在I帧组中，存储的是该I帧组的所有视频、音频数据包。

对于块格式录像，在公安、园区等行业应用中，存在如下的录像备份需求：对于用户选定的一些重要时间段的录像(比如：公安重大案件涉及的摄像机的相关时间段的录像)，需要执行备份，即将这部分录像数据从原有存储空间，传输并存储到专用于备份的存储空间，备份空间中的录像留存期一般更长，同时支持数据复制多份的容错机制。

录像备份业务特点包括：

1、按需获取存储录像。将用户指定的备份时间段，转换为原始录像的空间地址范围，该范围的分布空间直接依赖于原始录像的保存格式；

2、保存备份录像的存储空间不固定，无法事先指定，只能指定一个公共的存储空间，能保存很多个摄像机的备份录像。也就是说，常见的基于磁盘镜像的方式在录像备份领域并不适用。因此，备份存储空间一般会格式化为文件系统，从而实现多摄像机重要录像备份的存储空间共用。

现有的一种通用块录像备份方案，组网如图3所示。在这种备份组网方案中，VM服务器将备份任务下发到BM服务器，BM服务器通过RTSP协议，向管理录像所在IPSAN设备的DM服务器请求下载指定摄像机、指定时间段的录像数据。

DM服务器收到请求之后，通过iSCSI协议，从挂载到本地的IPSAN存储资源中读出对应的块格式录像数据，然后通过RTSP建立的数据通道，将录像数据发送到BM服务器。

BM服务器收到录像数据之后，在备份资源中创建文件，将数据写到备份文件中。

上述方案，由于DM服务器的RTSP下载性能有限，在下载码流带宽上远远达不到备份的要求，因此业界又推出了一种新的备份方案，请参图4。在这种方案中，BM服务器一方面通过iSCSI协议挂载备份IPSAN的备份资源到本地，同时通过iSCSI协议挂载录像所在IPSAN的存储资源到本地，这样BM服务器在录像备份流程中，不再需要通过RTSP向DM服务器下载录像，而是直接在BM服务器本地，通过iSCSI协议读取存储资源中的块格式录像，并通过iSCSI协议以备份文件的方式，将录像数据写入备份资源。

由于该方案减少了BM服务器向DM服务器通过RTSP下载录像的中间低性能环节，因此备份性能将得到一定程度的提升。但是BM服务器的处理性能容易成为性能瓶颈，使得系统的整体备份性能比较低。

另外，BM服务器一般采用linux操作系统，linux系统下存在内核态、用户态的不同运行环境。在内核态运行环境中，执行中断处理、任务调度、文件系统、TCP/IP协议栈等系统级的工作任务；在用户态运行环境中，执行用户自定义的工作任务。