[发明专利]一种分布式视频帧随机读取的元数据服务系统及工作方法

权利要求书

1.一种分布式视频帧随机读取的元数据服务系统，其特征在于，所述的元数据服务系统包括：任务分发模块、任务处理模块、地址映射模块、元数据IO与预处理模块、元数据存储模块和元数据重分布模块，其中任务处理模块包括元数据应用模块与元数据生成模块，所述的元数据存储模块包括三个存储单元，所述的元数据重分布模块和所述的元数据存储模块中的存储单元均与zookeeper组件进行连接，zookeeper组件通过心跳对存储单元的工作状况进行监控，如果出现存储单元移除或增加都会触发zookeeper组件并通知所述的元数据重分布模块做出相应动作；

所述的任务分发模块利用任务队列实现对任务的缓冲和分发，与所述的任务处理模块相连；

所述的元数据应用模块利用元数据和I帧字典实现对视频帧的随机读取；所述的元数据应用模块包括帧定位单元和解码单元，其中，所述的帧定位单元的工作过程如下：如果给定的是帧号，从元数据中获得I帧字典，然后遍历I帧字典找到帧号小于等于给定帧且离给定帧最近的I帧，依据视频帧的GOP结构，利用这个I帧即可解码和分析给定帧及其后面各个帧，如果给定的是时间，先得到元数据头信息中的帧率，再根据帧率和时间得到所要的帧号；

所述的解码单元的工作过程如下：利用视频解码库xuggler将帧定位单元得到的I帧定位到最终的文件位置实现给定帧的读取并作解码，最后将得到的静态图片或视频返回给客户端；

所述的元数据生成模块通过读取视频头信息和视频数据生成具有一定结构的视频元数据；

所述的元数据IO与预处理模块分别与所述的任务处理模块和元数据存储模块相连，当写入元数据时，该元数据IO与预处理模块将元数据生成模块生成的元数据进行压缩并与视频地址形成键值对存入元数据存储模块；

所述的元数据存储模块利用分布式内存框架实现，与所述的元数据重分布模块相连；所述的元数据存储模块使用分布式内存数据库，并且每个存储单元采用redis主从结构单元，包括一个主节点和两个从节点，每个节点以键值对的形式存储数据，键值对中视频地址为键，压缩后的元数据字节数组为值，主从节点之间通过复制技术提高元数据的可靠性；

所述的地址映射模块采用一致性哈希思想分布式存储元数据，将元数据等概率的分布在不同的存储单元中，实现存储单元的负载均衡，与所述的元数据IO与预处理模块相连；

所述的元数据重分布模块利用一致性哈希的局部重分布方法增强元数据存储模块的可扩展性。

2.根据权利要求1所述的一种分布式视频帧随机读取的元数据服务系统，其特征在于，所述的元数据是由帧率和I帧字典组成，其中I帧字典是视频所有I帧索引结构的集合，其中I帧索引结构是帧号与关键帧对应的时间偏移量组成的键值对。

3.根据权利要求1所述的一种分布式视频帧随机读取的元数据服务系统，其特征在于，所述的任务分发模块利用任务队列实现对任务的缓冲，并根据用户请求的类型分发给任务处理模块进行处理，其中，所述的用户请求为帧的随机读取请求和视频上传请求。

4.根据权利要求1所述的一种分布式视频帧随机读取的元数据服务系统，其特征在于，所述的元数据服务系统接受并处理客户端发来的请求，并返回处理结果；同时与分布式存储系统进行单向的数据交互，所述的分布式存储系统与客户端进行双向的数据交互以满足客户端上传视频和查看视频的需求。

5.根据权利要求1所述的一种分布式视频帧随机读取的元数据服务系统，其特征在于，所述的元数据生成模块中视频元数据的构建过程如下：从分布式存储系统中读取视频头信息和视频流数据以获得帧率并生成I帧字典，其中，生成I帧字典过程为先顺序遍历整个视频帧并对每个帧进行计数，同时提取每个I帧得到其对应的时间偏移量并与其计数值也即帧号组成键值对，得到的键值对集合便是I帧字典；如果分布式存储系统中没有该视频，则先将视频存储在分布式存储系统再进行构建；

所述的元数据生成模块先用一致性哈希算法找到元数据所在的存储单元再直接对元数据进行删除。