[发明专利]一种基于机器学习的人体双源图像行为识别方法

说明书

本发明公开了一种基于机器学习的人体双源图像行为识别方法，步骤包括：可见光图像的获取：采用CCD或CMOS图像传感器进行人体行为图像获取，对人体行为分类并打上标签；雷达数据集的构建：采用超宽带脉冲多普勒雷达模块进行人体行为信号的采集，将采集到的信号进行时序处理，生成加速度‑多普勒序列，每一组加速度‑多普勒序列作为一个单独的数据；将采集好的可见光图像与雷达数据集进行匹配，将图像与行为相对应；根据融合图像，行为的类别数，各类别之间的相关性综合选择一种识别框架，并在所述识别框架中输入为可见光图像、雷达数据集及其对应的行为标签；对识别框架进行训练，使其收敛。本发明有效提高在特殊环境中的行为识别精度。

技术领域

本发明涉及人体行为识别技术，特别是一种基于机器学习的人体双源图像行为识别方法。

背景技术

人体行为识别是当前模式识别领域的一个研究热点，人体行为识别主要通过某种传感器对人体目标进行拍摄，并将获取的数据进行分析，最终识别出当前目标的行为类型。目前，所采用的传感器主要为图像传感器，能清楚地反映人体行为的变化，然而，图像传感器在采集图像的过程中存在一个问题，其受雨天和雾天等外界环境因素影响较大，此外，所获取的图像受光照变化影响较为严重，在夜间无法获取正常的图像，因此行为识别系统在也将失去其应有的作用。多普勒雷达对外界环境因素不敏感，在雨天、雾天以及夜晚均可实现目标的探测；且多普勒雷达无视目标的遮挡，可以实现穿墙探测，因此基于多普勒信号的人体行为探测逐渐成为研究热点，然而，目前针对使用多普勒雷达进行行为识别的研究较少，方法不够成熟，因此，如何能融合两种识别的优点，可以在保证行为识别的同时使设备不受环境的影响。

发明内容

针对现有技术中存在的问题，本发明提供了一种可有效提高在特殊环境中的行为识别精度的基于机器学习的人体双源图像行为识别方法。

本发明的目的通过以下技术方案实现。

一种基于机器学习的人体双源图像行为识别方法，步骤包括：

1)可见光图像的获取：采用CCD或CMOS图像传感器进行人体行为图像获取，对人体行为分类并打上标签；

2)雷达数据集的构建：采用超宽带脉冲多普勒雷达模块进行人体行为信号的采集，将采集到的信号进行时序处理，生成加速度-多普勒序列，每一组加速度-多普勒序列作为一个单独的数据；

3)将步骤1)中采集好的可见光图像与步骤2)中雷达数据集进行匹配，将图像与行为相对应；4)根据融合图像，行为的类别数，各类别之间的相关性综合选择一种识别框架，并在所述识别框架中输入为可见光图像、雷达数据集及其对应的行为标签；

5)对识别框架进行训练，使其收敛。

所述识别框架为机器学习算法，所述机器学习算法包括深度卷积神经网络或SVM、决策树。

所述人体行为包括走路、摔倒、匍匐。

所述步骤3)的匹配过程具体为首先对雷达的点云数据进行包括仿射变换、扩充、缩放操作，得到一幅与可见光图像的宽、高、像素点个数均相同的图像，然后把可见光图像与处理后的雷达数据进行一一对应得到融合图像。

所述训练具体为首先准备足够的带标签的训练数据样本，每个数据样本包括一幅可见光图像和该图像对应的雷达数据集，每个数据样本的标签是其对应的行为类别；其次选择目标函数，对训练数据集进行反复学习，最终使目标函数趋于设定值。

相比于现有技术，本发明的优点在于：本发明有效提高在特殊环境中的行为识别精度，如雨天、夜间和逆光等。针对双源图像识别，同轴双源图像的获取；机器学习模型对双源图像进行建模；端到端的行为识别网络的训练，可有效提高行为识别的精度和适用范围，在智能监控、消防安保、刑事侦查等领域有极其重要的应用。

附图说明

图1为本发明的流程框图。