[发明专利]一种基于对象存储与Elasticsearch的视频Timeline存储方法

权利要求书

1.一种基于对象存储与Elasticsearch的视频Timeline存储方法，其特征在于：包括Timeline的raw记录存储和Timeline的事件存储；

Timeline的raw记录存储包括以下步骤：

步骤一、配置对象存储生命周期策略,配置键前缀/raw_record过期策略,实现过期raw记录文件自动清理；

步骤二、切割云存储摄像头上传的视频流，生成视频raw文件，根据raw记录的开始时间戳，按小时汇聚raw记录，生成raw记录文件，保存raw记录文件到至对象存储；

raw记录文件的对象存储键为 /raw_record/{mac}/{yyyyMMdd}/{HH}，其中mac为摄像头的唯一标识，yyyyMMdd 为raw记录的年月日，HH为小时，图示为mac为123456的摄像头，将一条开始时间戳为161378646000的raw记录，汇聚到/raw_record/123456/20210220/02的raw记录文件；

步骤三、用户回放视频时，通过摄像头mac和播放时间反向生成raw记录文件的对象存储键，解析raw记录文件；

Timeline的事件存储包括以下步骤：

步骤一、配置Elasticsearch集群，一个Elasticsearch集群至少有3个实例，在业务量增大时，可动态增加实例，设置Elasticsearch索引的分片数，分片数一般为实例数的2倍，这种配置即有高可用性，也不会浪费过多的存储资源；

步骤二、配置Elasticsearch的索引模板，由于每天都会生成一个Elasticsearch索引，模板使得索引创建可以自动完成；

步骤三、根据摄像头上报的事件的开始时间戳， 将时间戳转换为UTC时间，存储到Elasticsearch的Event-{yyyyMMdd}索引下，并通过mac进行分片路由，进行分片路由的好处是查询时不需要不需要在多个实例上搜索后汇总，查询速度更快；

步骤四、查询事件时，根据查询时间定位到具体的Elasticsearch索引， 根据mac进行分片路由；

步骤五、通过删除整个Elasticsearch索引的方式快速高效的进行过期事件清理。

2.根据权利要求1所述的一种基于对象存储与Elasticsearch的视频Timeline存储方法，其特征在于：Timeline的raw记录存储将视频raw记录， 以一小时为单位，汇聚在一个raw记录文件中，raw记录文件每行表示一条raw记录，上传至对象存储。

3.根据权利要求1所述的一种基于对象存储与Elasticsearch的视频Timeline存储方法，其特征在于：Elasticsearch是一个企业级的分布式搜索引擎，查询速度快，可靠性高，稳定性高，适合用来存储事件。

4.根据权利要求1所述的一种基于对象存储与Elasticsearch的视频Timeline存储方法，其特征在于：Elasticsearch的索引和分片技术，可以实现事件的存储负载均衡和快速清理，根据事件的时间，将其存储在Elasticsearch的Event-{yyyyMMdd}索引下，并通过摄像头的mac进行分片路由。

5.根据权利要求1所述的一种基于对象存储与Elasticsearch的视频Timeline存储方法，其特征在于：当需要对Elasticsearch进行扩容时，只需要增加新索引的分片数，而不会影响历史索引，通过删除过期的Elasticsearch索引就可以进行快速的过期事件清理。