[发明专利]适用于巡检车的行人异常行为检测方法与装置

说明书

本发明公开了一种适用于巡检车的行人异常行为检测方法与装置，该方法包括：预先设置异常行为检测网络，对RGB‑D相机和监控相机中采集到的视频数据中存在的异常行为进行在线检测；所述异常行为检测网络获取方法包括：步骤1，标定原始视频数据中存在的行为类别和属性，得到每一行为对应的类别标签和属性标签；步骤2，选取连续T帧图像序列作为训练样本数据；步骤3，建立无向图；步骤4，根据无向图，利用时空图卷积网络和卷积神经网络，获得异常行为检测网络。本发明能够在全天时情况下对于异常行为进行精准检测，为智能监控预警提供依据。

技术领域

本发明涉及机器人和视频监控技术领域，特别是关于一种基于RGB-D相机的适用于巡检车的行人异常行为检测方法与装置。

背景技术

异常行为检测是指在监控视频场景下，基于各类计算机设备代替或补充监控人员对于视频监控场景下人类发的异常行为进行实时辨别，从而达到预警目的。其中异常行为一般是指场景中与其他人类行为有明显不同或者是在场景中人类发生概率较低的行为。实际上，对比正常行为，异常行为出现概率非常小，但异常行为几乎会产生严重后果。因而对于异常行为进行监控预警十分有必要。

机器人技术能够逐渐替代某些需要人类的单调和危险工作场景，从而极大降低人力成本。目前，监控预警一般采用视觉相机结合人工监控的方式进行，但是在夜间这两种监控方式都有不同程度的削弱和不便，其缺陷主要体现在：夜晚环境下人类和普通可见光相机感知能力下降。针对这一情况，目前并没有特别好的解决方案。

行为识别是一类重要的计算机视觉任务，其在视频理解、运动分析和智能监控领域都有广泛应用。Kinect是微软公司推出的民用型RGB-D相机，能够同时获取彩色图和深度图像，并且配备红外设备，能够在夜间环境下运行，是典型的3D目标识别设备。

发明内容

本发明的目的在于提供一种基于RGB-D相机的适用于巡检车的行人异常行为检测方法和装置来克服或至少减轻现有技术的上述缺陷中的至少一个。

为实现上述目的，本发明提供一种适用于巡检车的行人异常行为检测方法，预先设置异常行为检测网络，对RGB-D相机和监控相机中采集到的视频数据中存在的异常行为进行在线检测；所述异常行为检测网络获取方法包括：

步骤1，标定原始视频数据中存在的行为类别和属性，得到每一行为对应的类别标签A＝{a₁,a₂,...,a_n}和属性标签B＝{b_nor,b_ab}；其中，所述原始视频数据包括RGB-D相机数据，a_n表示第n种行为的类别标签，b_nor表示正常行为，b_ab表示异常行为；

步骤2，选取由步骤1标定好的连续T帧图像序列作为训练样本数据；

步骤3，获取训练样本数据的每一帧图像中的人体位置框，并建立无向图G＝(V,E)；

其中，关节节点位置集合V＝{v_ti|t＝1,...,T,i＝1,...,N}包括连续T帧图像序列中的所有关节节点的位置，v_ti表示第t帧图像中的第i个关节节点的位置，共有N个关节节点；

边集合E具有两个子集分别是空间边子集和时序边子集，其中：所述空间边子集E_S＝{v_tiv_tj|(i,j)∈H}，H表示单帧图像中的所有关节节点的位置；相邻两帧图像上同一关节节点连接而成的边组成的时序边子集E_F＝{v_tiv_(t+1)i}，v_tj表示第t帧图像中的第j个关节节点的位置，v_(t+1)i表示第t+1帧图像中的第j个关节节点的位置；

步骤4，根据无向图G＝(V,E)，利用时空图卷积网络和卷积神经网络，获得异常行为检测网络。