[发明专利]一种分布式视频帧随机读取的元数据服务系统及工作方法

说明书

本发明公开了一种分布式视频帧随机读取的元数据服务系统及工作方法，该系统由六大模块组成：任务分发模块、任务处理模块、地址映射模块、元数据IO与预处理模块、元数据存储模块和元数据重分布模块，其中任务处理模块包括元数据应用模块与元数据生成模块。该系统为了在分布式视频存储环境下高效地实现对视频帧的随机定位，以避免单个节点时间开销和节点之间的网络开销，提出以I帧字典为核心的帧的随机读取策略。

技术领域

本发明涉及分布式视频大数据处理技术领域，具体涉及一种分布式视频帧随机读取的元数据服务系统及工作方法。

背景技术

随着视频“大数据”时代的到来，如何存储、挖掘和利用视频潜在的信息价值便成为需求，视频数据的挖掘大多涉及到对视频内容的索引和定位，具体说就是对视频帧的随机读取。分布式存储系统解决了视频大数据的存储问题，同时也导致无法直接利用传统方法实现对视频帧的随机读取，因为它需要频繁的遍历视频数据，这会给每个节点的处理带来大量的时间开销，同时带来节点间的数据传输开销。

根据目前主流的基于运动补偿方法的解码标准，视频编码建立在GOP闭合结构之上，一个GOP结构有I、B、P三种帧，其中I帧是完整的图像可以独立解码，B帧是相对于I帧和P帧的增量，P帧是I帧的增量，所以要完整编码一个B帧或P帧都需要I帧的参考。

为了提高帧的读取效率同时保证视频文件在逻辑上的完整性，基于以上闭合GOP结构特征本发明考虑为每个GOP做索引，索引字段即是GOP的起始帧(I帧)号和该帧对应的时间偏移量，其中时间偏移量可以利用解码工具xuggler转化为特定存储系统平台上的文件偏移量。利用一个视频的GOP索引集合(后称I帧字典)来实现帧的随机读取。为了方便系统的存储和读取管理，帧率和I帧字典以及与视频信息都被封装在视频元数据中并建立相应的元数据服务系统。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种分布式视频帧随机读取的元数据服务系统及工作方法。

根据公开的实施例，本发明的第一方面公开了一种分布式视频帧随机读取的元数据服务系统，所述的元数据服务系统包括：任务分发模块、任务处理模块、地址映射模块、元数据IO与预处理模块、元数据存储模块和元数据重分布模块，其中任务处理模块包括元数据应用模块与元数据生成模块，所述的元数据存储模块包括至少三个存储单元，所述的元数据重分布模块和所述的元数据存储模块中的存储单元均与zookeeper组件进行连接，zookeeper组件通过心跳实现对存储单元的工作状况进行监控，如果出现存储单元移除或增加都会触发zookeeper组件并通知所述的元数据重分布模块做出相应动作；

所述的任务分发模块利用任务队列实现对任务的缓冲和分发，与所述的任务处理模块相连；

所述的元数据应用模块利用元数据和I帧字典实现对视频帧的随机读取；

所述的元数据生成模块通过读取视频头信息和视频数据生成具有一定结构的视频元数据；

所述的元数据IO与预处理模块分别与所述的任务处理模块和元数据存储模块相连，当写入元数据时，该元数据IO与预处理模块将元数据生成模块生成的元数据进行压缩并与视频地址形成键值对存入元数据存储模块；

所述的元数据存储模块利用分布式内存框架实现，提高元数据的可靠性和读写效率，与所述的元数据重分布模块相连；

所述的地址映射模块采用一致性哈希思想分布式存储元数据，将元数据近似等概率的分布在不同的存储单元中，实现存储单元的负载均衡，与所述的元数据IO与预处理模块相连；

所述的元数据重分布模块利用一致性哈希的局部重分布方法增强元数据存储模块的可扩展性。

进一步地，所述的元数据是由帧率和I帧字典组成，其中I帧字典是视频所有I帧索引结构的集合，其中I帧索引结构是帧号与该关键帧对应的时间偏移量组成的键值对。