[发明专利]一种复杂背景下动作分类方法及分类系统

说明书

本发明公开了一种复杂背景下动作分类方法及动作分类系统，具体公开了一种基于超像素分割、深度学习和脑电波信号复杂背景下动作分类方法及动作分类系统。通过采用CNN类网络对动作时序图像和动作掩模图像提取时刻图像特征，增强了人体动作区域图像特征，然后结合图像的时序信息和脑电波形，进一步增强人体动作行为特征，有效的解决了现有技术中单一视角图像进行人体动作行为的识别，以及单独依靠图像和面对复杂背景情况下易受环境变化影响、识别率和准确度不高、鲁棒性不强等问题。

技术领域

本发明属于图像处理技术领域，具体涉及一种复杂背景下动作分类方法及分类系统。

背景技术

人体动作识别是目前人工智能研究的热门领域，随着智能监控领域的不断发展，音视频监控设备可以监控人们活动的方方面面，产生了很多可以大量利用的音视频数据，通过这些音视频数据可以分析人类的行为动作，通过人体动作的幅度、面部表情和语音声调判断人体的动作剧烈程度，避免潜在的犯罪活动。

人体的动作剧烈程度基本上分为剧烈、平静和柔和三个方面。现有的研究领域主要单独依靠采集的图像识别人体的动作行为，对于真正人体由于情感波动而引起的动作剧烈程度的判定并不十分准确。现有的大部分人体动作识别方法基本上是在单一视角下采集的图像上进行分析处理，并不能有效描述一个人的动作行为状态，容易造成识别不准的情况出现。并且图像之间没有联系，没有有效的时域或频域关联信息。

现有技术中关于人体动作识别方法，有通过卷积神经网络获取人体动作光流图和视频的卷积特征图，最后通过支持向量机分类得出人体动作识别结果。该方法只是在单一视角下的图像上进行处理，并且没有结合视频图像的时域信息、多维视角图像和人的情感波动情况，对于人体特征的描述不准确。

除此之外，还有通过深度学习提取肢体动作全局特征信息，利用开发的TensorFlow，Python等软件对肢体动作进行分类，并映射到对应的高兴、伤心和中性情绪中去。该方法也只是在单一视角下的图像上进行处理，并且没有结合视频图像的时域信息、多维视角图像和人的情感波动情况，对于人体特征的描述不准确。容易受到图像环境影响，方法鲁棒性不强。

目前已有的方法主要是根据单一视角图像进行人体动作行为的识别，易受环境变化影响，方法的鲁棒性低并且准确度不高。

发明内容

针对现有技术存在的问题，本发明的目的是提供一种复杂背景下动作分类方法与动作分类系统，具体涉及一种基于超像素分割、深度学习和脑电波信号复杂背景下动作分类方法及动作分类系统。解决现有技术中单一视角图像进行人体动作行为的识别，易受环境变化影响，方法的鲁棒性低并且准确度不高的问题。

为达到上述目的，本发明采用如下技术方案：

一种复杂背景下动作分类方法，包括以下步骤：

步骤1，采用下采样加速方法对动作时序图像进行超像素分割得到超像素分割结果；根据超像素分割结果对动作时序图像进行下采样得到视觉概要图像；采用深度学习语义分割网络对视觉概要图像进行图像分割得到动作掩模图像；

步骤2，采用CNN类网络提取步骤1中的动作时序图像的时刻图像特征与动作掩模图像的时刻图像特征得到时刻特征图谱，然后采用RNN类网络按时间顺序提取时刻特征图谱的时段图像特征得到结合了图像时序信息的特征图谱；

步骤3，同时采集步骤1中人体在对应时段做出动作时的脑电波形图像，采用RNN类网络按照时间顺序提取脑电波形图像的图像特征得到脑电波形特征图谱；

步骤4，对步骤2中结合了图像时序信息的特征图谱和步骤3中脑电波形特征图谱进行特征图谱合并得到合并后的特征图谱，然后采用CNN类网络对合并后的特征图谱进行分类得出动作分类结果。

具体地，步骤1中的下采样加速方法包括像素1:1条件下采样加速方法和像素1:3条件下采样加速方法。