[发明专利]一种基于机器学习的人体双源图像行为识别方法

权利要求书

1.一种基于机器学习的人体双源图像行为识别方法，其特征在于步骤包括：

1)可见光图像的获取：采用CCD或CMOS图像传感器进行人体行为图像获取，对人体行为分类并打上标签；

2)雷达数据集的构建：采用超宽带脉冲多普勒雷达模块进行人体行为信号的采集，将采集到的信号进行时序处理，生成加速度-多普勒序列，每一组加速度-多普勒序列作为一个单独的数据；

3)将步骤1)中采集好的可见光图像与步骤2)中雷达数据集进行匹配，将图像与行为相对应；4)根据融合图像，行为的类别数，各类别之间的相关性综合选择一种识别框架，并在所述识别框架中输入为可见光图像、雷达数据集及其对应的行为标签；

5)对识别框架进行训练，使其收敛。

2.根据权利要求1所述的一种基于机器学习的人体双源图像行为识别方法，其特征在于所述识别框架为机器学习算法，所述机器学习算法包括深度卷积神经网络或SVM、决策树。

3.根据权利要求1或2所述的一种基于机器学习的人体双源图像行为识别方法，其特征在于所述人体行为包括走路、摔倒、匍匐。

4.根据权利要求1所述的一种基于机器学习的人体双源图像行为识别方法，其特征在于所述步骤3)的匹配过程具体为首先对雷达的点云数据进行包括仿射变换、扩充、缩放操作，得到一幅与可见光图像的宽、高、像素点个数均相同的图像，然后把可见光图像与处理后的雷达数据进行一一对应得到融合图像。

5.根据权利要求1所述的一种基于机器学习的人体双源图像行为识别方法，其特征在于所述训练具体为首先准备足够的带标签的训练数据样本，每个数据样本包括一幅可见光图像和该图像对应的雷达数据集，每个数据样本的标签是其对应的行为类别；其次选择目标函数，对训练数据集进行反复学习，最终使目标函数趋于设定值。