[发明专利]HDFS中基于事件密集度的交通监控视频存储方法

摘要

HDFS中基于事件密集度的交通监控视频存储方法，其特征在于，具体包括如下步骤智能摄像头获取交通监控数据，同时进行交通事件的检测，然后将交通视频流数据和数据中所包含的事件类型描述信息同时发送到视频服务器。视频服务器收到摄像头发来的视频流数据后对视频数据进行编码及分割，然后生成视频文件，并根据视频数据的事件描述信息为文件标明事件类型。将视频数据上传到HDFS；HDFS中的NameNode节点接收到数据存储请求后，调用基于事件密集度的数据放置策略为将要存放的数据文件选择目标数据节点；将文件存入步骤(3)中选中的目标数据节点中。能够解决HDFS存储海量交通监控视频时产生的节点负载不均衡问题，从而实现交通监控数据的高效存储。

主权项

HDFS中基于事件密集度的交通监控视频存储方法，其特征在于，具体包括如下步骤：(1)智能摄像头获取交通监控数据，同时进行交通事件的检测，然后将交通视频流数据和数据中所包含的事件类型描述信息同时发送到视频服务器；(2)视频服务器收到摄像头发来的视频流数据后对视频数据进行编码及分割，然后生成视频文件，并根据视频数据的事件描述信息为文件标明事件类型；将视频数据上传到HDFS；(3)HDFS中的NameNode节点接收到数据存储请求后，调用基于事件密集度的数据放置策略为将要存放的数据文件选择目标数据节点；(4)将文件存入步骤(3)中选中的目标数据节点中；所述步骤(3)基于事件密集度的数据放置策略，具体步骤如下：1)当系统收到客户端的文件操作请求时，判断操作为何种类型；2)如果操作为文件写入操作，获得系统中即时维护的各事件类型的事件影响度；事件影响度代表包含不同类型事件的视频文件由于用户的访问量不同对其所在数据节点负载影响程度；本发明定义e类型文件在时间间隔T内的访问量与e类型文件在系统中的文件总数之比为e类型事件的事件影响度，且每隔时间T更新一次；设ae表示事件类型e的影响度，计算公式如下：3)计算各个数据节点的事件密集度；设集群中的数据节点的集合为D，数据节点d∈D，F为节点d中的文件集合，e(f)为文件f的事件类型；ae(f)为文件f的事件影响度；本发明中所定义数据节点d的事件密集度按如下公式计算：L(d)=Σf∈Fae(f)]]>4)综合各数据节点的事件密集度、数据节点的实时负载、磁盘容量等因素选取目标放置节点；设目标放置节点为g，d为集群中的任一数据节点g的选取方法如下：a)L(g)≤L(d)，即g是所有数据节点中事件密集度最小的节点；b)设节点d的当前时刻的负载为Nd,Nd以当前连接到d的客户端操作请求数量来表示；如果a)中选出的节点为多个，那么g为当前负载Nd最小且有足够存储容量的节点；c)如果b)中同样获得多个节点，则d为从这些节点中按照机架感知策略选出的节点；5)获得要存储视频的事件类型e，更新目标节点g和系统中e类型文件的存储数量；6)如果操作为文件读取操作，则更新e类型文件的访问数量；系统每隔固定的时间T，为每种各事件类型更新事件影响度。