[发明专利]基于视觉共生矩阵序列的异常双人交互行为识别方法

摘要

本发明公开了基于视觉共生矩阵序列的异常双人交互行为识别方法，包括步骤1:对摄像头采集的视频中的交互行为进行运动检测与分割；步骤2:对视频中左右动作执行人分别进行分区域HOG特征提取；步骤3:利用步骤2中提取的HOG特征，采用K‑means算法构建视觉单词，生成视觉词袋，并对视觉词袋中的单词进行编码；利用相似度量函数，对区域特征进行视觉单词编码；统计时间维度中交互个体之间的视觉共生关系，得到视觉共生矩阵序列来表示视频中的异常双人交互行为；步骤4:HMM算法的训练与识别。本发明提出的算法过程的方法简单、高效，识别准确率较高；针对识别智能监控系统中异常的双人交互行为，具有较好的识别性能。

主权项

1.基于视觉共生矩阵序列的异常双人交互行为识别方法，其特征在于，包括以下几个步骤：步骤1:对摄像头采集的视频中的交互行为进行运动检测与分割；步骤2:对视频中左右动作执行人分别进行分区域HOG特征提取；步骤3:利用步骤2中提取的HOG特征，采用K‑means聚类算法构建视觉单词，生成视觉词袋，并对视觉词袋中的单词进行编码；利用相似度量函数，对区域特征进行视觉单词编码；统计时间维度中交互个体之间的视觉共生关系，得到视觉共生矩阵序列来表示视频中的异常双人交互行为，具体包括：步骤3.1:采用K‑means算法构建视觉单词，生成视觉词袋：①分别提取视频训练集中左右动作执行人的分区域HOG特征向量seti，共同生成一个特征向量集SET，SET＝{set1,set2,…setm}；其中m为特征向量的总数，且i＝1,2,m；②对SET进行K‑means算法操作，生成具有代表性的视觉单词wp，组成词袋W，W＝{w1,w2,…,wn}，其中n为视觉单词个数，且p＝1,2,...n；③利用哈希技术将W中的视觉单词wp单一映射到h＝f(wp)，实现对视觉词袋中单词的量化编码，量化编码的取值范围为1～N，且h∈{1,2,…N}，哈希函数如公式(4)所示：其中，wj∈W；步骤3.2:完成对左右动作执行人分区域特征的视觉单词编码：①对视频中每帧图片左右执行人的局部区域HOG特征向量seti，采用相似度量函数，将seti与W＝{w1,w2,…,wn}中的视觉单词进行相似性比较，得到与之最相似的视觉单词；②将分块的视频帧左右动作执行人局部区域的seti，分别标记为该视觉单词经过哈希函数得到的量化编码，从而完成视频区域特征的视觉单词编码；步骤3.3:将视频描述为对应的视觉共生矩阵序列：①以视频帧图像为单位建立一个N×N的视觉共生矩阵，用来统计每帧中左右执行人之间视觉单词共生的频数；最终得到一个表示视频帧图片中左右执行人之间关系的视觉共生矩阵vc，并进行归一化处理；②对于视频来说，在时间维度T上得到视觉共生矩阵序列VC＝{vc1,vc2,…,vcnum}来表征基于视频的交互行为信息，对于测试视频同样进行本步骤操作；步骤3.4:由于在双人交互过程中，存在动作执行人的左右位置不同，这将导致视觉单词对共生的位置发生变化，因此，这里将采用vc＝vci+vciT得到vc，并取其上三角视觉共生矩阵代替原来的矩阵，来增加算法的鲁棒性。步骤4:利用HMM算法，对各类异常双人交互行为进行训练，利用训练好的不同交互行为模型，对实际输入视频进行异常双人交互行为识别。