[发明专利]索引数据的存储方法和存储控制装置

说明书

技术领域

本发明涉及通讯领域，尤其涉及一种索引数据的存储方法和存储控制装置。

背景技术

现有的存储设备使用的磁盘中，数据存储在磁盘的盘片上，数据的读写通过磁头臂加上盘片本身的运动来定位具体的位置。目前，精密仪器的发展已经使得磁盘的转速提升到了每分钟上万转，但是与计算机内电路传输速度相比还是很低。硬盘的磁头从初始位置移动到盘面指定磁道所需的时间，称为硬盘的平均寻道时间，是影响硬盘内部数据传输率的重要参数。目前使用的磁盘的平均寻道时间在7ms左右。

另一方面，磁盘本身的传输速度是比较快的，磁盘接口的速度早已超过了100MBps，磁盘的实际顺序读写速度可以达到50MBps以上。顺序读写是指磁盘的访问对象的地址是连续的，这样的读写大大减少了寻道时间。相对而言，随机读写是指磁盘的访问对象的地址是不连续的，磁盘将大量消耗花费在了寻道时间上。在实际测试中，当数据块很小时，随机读写的性能一般不及顺序读写性能的1/10，即使是很大的数据块时，随机读写的性能一般不及顺序读写性能的1/2。

在现有的大部分的监控系统的存储实现中，为了更快速高效的对录像数据进行查询检索，普遍的做法是为录像数据增加索引，在存储视频数据的同时，存储相应的索引项；在进行录像查询时，通过查询索引信息，可以快速的定位到准确的录像视频数据。

媒体数据和索引数据同时存储的文件存储格式可表示为如图1所示，其中，SUPER DATA(超级数据)后面为MAIN INDEX(一级索引)，大小为128K。一级索引块后面是一系列的256M大小的数据单元，用于保存数据。一级索引块的作用为检索后面的256M Byte数据单元。在每个256M的数据单元中，又包含SECOND INDEX(二级索引)和数据块，通过二级索引检索每个I帧组数据包含的数据块。

在对磁盘进行写入操作时，对视频数据以16K Byte作为最小的存储单元，进行一次IO操作，每个I帧组由多个16KB的数据块组成，写完一个I帧组后，进行写索引操作。每个二级索引项定位一个I帧组。当前256M的数据单元的剩余空间不足以存储一个I帧组的时候，会取下一个256M的数据单元进行存储，此时在写二级索引的同时，还要写一级索引，每个一级索引项定位一个256M数据块。

为每个编码器通道分配的存储空间都是连续的。由于监控业务的特殊性，视频数据的写入都是顺序写入的，这种在连续空间中的顺序写是效率最高的。但在现有方案中，为了方便录像回放时对视频数据的检索，在连续存储空间中又分配了固定区块固定大小的索引块。使得每个编码器通道在向存储设备中写入数据时，每顺序写入一个I帧组数据，就必须将磁头移动到索引块中写入相应的索引项，使原来的顺序写变成了随机写。这种每写一个I帧组数据就写一个索引块的实现，引入了磁头寻道时间，基于背景技术中描述的硬盘的特征，寻道时间是影响硬盘内部数据传输率的重要参数，随机写使磁盘的大量消耗花费在了寻道时间上，影响了写数据的性能。

基于存储设备读写性能随IO读写随机率提高呈指数级下降关系，现有技术中的随机写方式在监控业务存储视频流低码率下对存储性能影响尤为严重。

比如一个2M bps码率的存储流写入对应的SAN资源，以最常用的设置，1秒一个I帧组计算，写数据时，每16KB做一个IO操作，那写完一个I帧组，需进行128次IO操作。写完I帧组后，进行一次写索引的IO操作。所以在2M bps码率存储流下存储的IO读写随机率为0.78％。

按同样的计算方法，1Mbps码率的存储流IO读写随机率为1.6％；512Kbps码率的存储流IO读写随机率为3.1％；256Kbps码率的存储流IO读写随机率为6.2％。

可见，存储流码率越低，随机率越高。经实验，磁盘读写性能随IO读写随机率提高呈指数级下降，如图2所示。

因此，在现有方案中，每顺序写一个I帧组，就到索引块中写一个索引项，使得连续写变成了随机写。这在低码率存储流存储时，产生了非常大的IO读写随机率，引入了磁头寻道时间，影响了硬盘内部数据传输的效率，影响了写数据的性能。

发明内容

本发明提供一种索引数据的存储方法和存储控制装置，用于提高向磁盘中写入索引数据和视频数据的效率。

本发明提供了一种索引数据的存储方法，包括：

将编码器需要存储到存储设备的磁盘的索引数据进行缓存；

当缓存的索引数据的数量到达预设的阈值、或者检测到触发事件时，将所述缓存中的索引数据存储到所述磁盘中。