[发明专利]一种分布式视频帧随机读取的元数据服务系统及工作方法

摘要

本发明公开了一种分布式视频帧随机读取的元数据服务系统及工作方法，该系统由六大模块组成：任务分发模块、任务处理模块、地址映射模块、元数据IO与预处理模块、元数据存储模块和元数据重分布模块，其中任务处理模块包括元数据应用模块与元数据生成模块。该系统为了在分布式视频存储环境下高效地实现对视频帧的随机定位，以避免单个节点时间开销和节点之间的网络开销，提出以I帧字典为核心的帧的随机读取策略。

主权项

1.一种分布式视频帧随机读取的元数据服务系统，其特征在于，所述的元数据服务系统包括：任务分发模块、任务处理模块、地址映射模块、元数据IO与预处理模块、元数据存储模块和元数据重分布模块，其中任务处理模块包括元数据应用模块与元数据生成模块，所述的元数据存储模块包括三个存储单元，所述的元数据重分布模块和所述的元数据存储模块中的存储单元均与zookeeper组件进行连接，zookeeper组件通过心跳实现对存储单元的工作状况进行监控，如果出现存储单元移除或增加都会触发zookeeper组件并通知所述的元数据重分布模块做出相应动作；所述的任务分发模块利用任务队列实现对任务的缓冲和分发，与所述的任务处理模块相连；所述的元数据应用模块利用元数据和I帧字典实现对视频帧的随机读取；所述的元数据生成模块通过读取视频头信息和视频数据生成具有一定结构的视频元数据；所述的元数据IO与预处理模块分别与所述的任务处理模块和元数据存储模块相连，当写入元数据时，该元数据IO与预处理模块将元数据生成模块生成的元数据进行压缩并与视频地址形成键值对存入元数据存储模块；所述的元数据存储模块利用分布式内存框架实现，提高元数据的可靠性和读写效率，与所述的元数据重分布模块相连；所述的地址映射模块采用一致性哈希思想分布式存储元数据，将元数据近似等概率的分布在不同的存储单元中，实现存储单元的负载均衡，与所述的元数据IO与预处理模块相连；所述的元数据重分布模块利用一致性哈希的局部重分布方法增强元数据存储模块的可扩展性。