[发明专利]HDFS中基于事件密集度的交通监控视频存储方法

说明书

技术领域

本发明涉及海量视频数据的存储，尤其涉及一种HDFS中基于事件密集度的交通监控视频存储方法。

背景技术

随着视频压缩技术和网络传输技术的不断发展，智能视频监控系统逐渐普及。城市智能交通视频监控由于监控设备增加且高清化，产生的监控视频数据量非常庞大，以用于违章事件检测等功能的200万像素高清摄像头为例，其最高视频码率为4Mbps/s，那么8个路口(每个路口设置4个摄像头)的监控区域30天内将产生40TB的视频数据。快速增长的数据量对监控系统的存储性能提出了严峻的考验。同时存储的监控视频中包含了发生的各种交通事件，这些交通事件后期会被有关部门进行检索查证。在保证实时保存新产生的监控视频的同时需要及时对事件查询请求做出快速响应，这又提高了对于监控系统的性能要求。

除了大容量，监控视频还具有高可靠性(视频数据至少30天之内正确地存储在存储空间中，以备取证)和可扩展性等方面的要求。同时，城市交通视频监控存储又具有非永久性存储(一般只要求存储15～30d)、一致性要求相对较低、视频读写时间长等特点。随着视频监控经历的模拟、数字、网络三个阶段，视频监控存储中存储的主要形态包括了DVR、NVR、IPSAN三种，虽然能够满足系统对于存储方面的需求，但是系统的部署和管理维护成本较高，且不利于视频数据分析等应用的拓展。

随着GFS(Googlefilesystem)、Hadoop等分布式数据处理架构的出现，云存储技术逐渐发展成熟，其具有存储虚拟化、高可扩展性、成本低、易于管理和方式灵活等优势，突破了传统存储方式的性能和容量瓶颈，在存储领域具有重要的意义，尤其是为视频类等大容量、非结构化的数据的存储，提供了重要的解决办法。其中HDFS是GFS的开源实现，是Hadoop架构的两大核心之一，设计用来部署在低廉的硬件上,能够提供高传输率分布式数据管理。利用Hadoop构建应用于交通监控视频存储的分布式存储系统，可以为智能交通监控领域提供一个低成本、高性能的分布式存储方案。

但是HDFS在数据块的放置时采用了随机的数据放置策略。这可能会造成过多的数据相对集中在某些节点上从而产生存储热点，导致系统负载不均衡，影响系统的吞吐量。虽然交通监控视频数据规模较大，但实际应用当中用户的访问请求往往集中于包含交通事件的视频片段。如果过多的事件视频数据因为随机的放置而被集中存放在某些数据节点，则这些节点可能会由于负载较高而成为存储热点。因此HDFS用于交通监控视频的存储相对于其他数据存储应用，采用默认的机架感知策略可能会导致更多的负载不均衡情况。

批注：Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。

发明内容

本发明的目的是提供一种HDFS中基于事件密集度的交通监控视频存储方法，其能够解决HDFS存储海量交通监控视频时产生的节点负载不均衡问题，从而实现交通监控数据的高效存储。

为实现上述目的，本发明采用如下的技术方案：

HDFS中基于事件密集度的交通监控视频存储方法，具体包括如下步骤：

(1)智能摄像头获取交通监控数据，同时进行交通事件的检测，然后将交通视频流数据和数据中所包含的事件类型描述信息同时发送到视频服务器。

(2)视频服务器收到摄像头发来的视频流数据后对视频数据进行编码及分割，然后生成视频文件，并根据视频数据的事件描述信息为文件标明事件类型。将视频数据上传到HDFS。

(3)HDFS中的NameNode节点接收到数据存储请求后，调用基于事件密集度的数据放置策略为将要存放的数据文件选择目标数据节点。

(4)将文件存入步骤(3)中选中的目标数据节点中。

所述步骤(3)基于事件密集度的数据放置策略，具体步骤如下：

1)当系统收到客户端的文件操作请求时，判断操作为何种类型；

2)如果操作为文件写入操作，获得系统中即时维护的各事件类型的事件影响度；事件影响度代表包含不同类型事件的视频文件由于用户的访问量不同对其所在数据节点负载影响程度。本发明定义e类型文件在时间间隔T内的访问量与e类型文件在系统中的文件总数之比为e类型事件的事件影响度，且每隔时间T更新一次。设a_e表示事件类型e的影响度，计算公式如下：