[发明专利]一种基于对象存储与Elasticsearch的视频Timeline存储方法

说明书

本发明公开了一种基于对象存储与Elasticsearch的视频Timeline存储方法，包括Timeline的raw记录存储和Timeline的事件存储，Timeline的raw记录存储包括以下步骤：步骤一、配置对象存储生命周期策略,配置键前缀/raw_record过期策略,实现过期raw记录文件自动清理；步骤二、切割云存储摄像头上传的视频流，生成视频raw文件，根据raw记录的开始时间戳，按小时汇聚raw记录，生成raw记录文件，保存raw记录文件到至对象存储；步骤三、用户回放视频时，通过摄像头mac和播放时间反向生成raw记录文件的对象存储键，解析raw记录文件。本发明相比基于MySQL集群的存储技术,基于对象存储与Elasticsearch的存储技术不需要定时清理任务，其中,对象存储设置了过期策略会自动清理；Elasticsearch是按天建索引的,只需要删除过期的索引即可。

技术领域

本发明涉及视频timeline存储技术领域，具体为一种基于对象存储与Elasticsearch的视频Timeline存储方法。

背景技术

为了缩短视频回放的响应时间，通常将云存储摄像头的视频数据按一定的时间切割后存储，由此，不仅需要存储视频的raw文件，还需要存储额外的timeline数据，raw文件是切割后视频数据(约30~60秒)，存储在对象存储中，timeline数据又可分为raw记录和事件，raw记录包含了相应raw文件在对象存储的键，通过键可下载raw文件，事件记录了摄像头在某段时间识别到的特定事件(如:运动，人脸等)，timeline数据带有时间信息，在用户回放视频时，要求快速精确的定位到具体的raw文件进行播放，随着用户与摄像头数量的增长，存储与快速检索亿级的timeline数据是一个难题；

目前，业内普遍将timeline数据存储在MySQL数据库中，并通过MyCat在用户维度进行分库，构建MySQL集群，这种存储方式有三方面的缺陷:

一是负载不均衡，这是最主要的缺陷，它是由用户下挂载的摄像头数量不同与摄像头活跃度不同引起的，负载不均衡会导致热点数据库的产生，热点数据库影响甚至决定了整个MySQL集群的性能，这种特性，类似于木桶短板定律，是非常不健康的，在生产环境遇到负载不均衡引起的性能问题时，初期可通过提高数据库配置来解决，后期只能与其他机房换流甚至限流来缓解数据库压力；

二是运维困难，随着用户增长，需要手动拓展MySQL集群，更新MyCat分库配置，这对于运维是不小的工作量，而且容易出错；

三是timeline数据清理问题，视频的存储天数是用户购买的套餐的天数，过期的timeline数据需要定时任务进行清理，定时任务运行时会消耗可观的服务器资源，提高数据库的负载。

发明内容

本发明的目的在于提供一种基于对象存储与Elasticsearch的视频Timeline存储方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于对象存储与Elasticsearch的视频Timeline存储方法，包括Timeline的raw记录存储和Timeline的事件存储，Timeline的raw记录存储包括以下步骤：

步骤一、配置对象存储生命周期策略,配置键前缀/raw_record过期策略,实现过期raw记录文件自动清理；

步骤二、切割云存储摄像头上传的视频流，生成视频raw文件，根据raw记录的开始时间戳，按小时汇聚raw记录，生成raw记录文件，保存raw记录文件到至对象存储；

raw记录文件的对象存储键为 /raw_record/{mac}/{yyyyMMdd}/{HH}，其中mac为摄像头的唯一标识，yyyyMMdd 为raw记录的年月日，HH为小时，图示为mac为123456的摄像头，将一条开始时间戳为161378646000的raw记录，汇聚到/raw_record/123456/20210220/02的raw记录文件；

步骤三、用户回放视频时，通过摄像头mac和播放时间反向生成raw记录文件的对象存储键，解析raw记录文件；