[发明专利]一种基于方向密度特征的微多普勒图像手语感知识别方法

说明书

本发明提供了一种基于方向密度特征的微多普勒图像手语感知识别方法，包括步骤1：信号预处理；步骤2：构建数据集；步骤3：方向密度带划分；步骤4：像素梯度幅值和方向角计算；步骤5：选定方向密度带组；步骤6：新的雷达探测的手语微多普勒图像输入到训练完成的分类器，实现手语感知识别。本发明一种基于方向密度特征的微多普勒图像手语感知识别方法，创造性的使用方向密度特征进行手语感知分类，相比于现有的手语识别方式，实现更高的分类准确度同时，具有计算复杂度低、占用内存资源少以及非常适用于计算能力有限的嵌入式识别装置的特点。

技术领域

本发明属于图像处理领域，尤其是涉及一种基于方向密度特征的微多普勒图像手语感知识别方法。

背景技术

手势是人们表达思想和感情的一种非语言类沟通方式，它有助于加强人们在交流中传递的信息。手语是一种包含视觉动作和符号的结构化手势，用作一种信息交流系统。对于聋哑人和语言障碍群体来说，手语是日常交流的重要工具。然而，手语在听力界并不常见，能“听”懂手语的人更少。这在聋人社区和社会其他成员之间形成了一种真正的沟通障碍。手语识别技术能让机器理解人类的动作及其意义，能帮助健康人更方便、更容易地走进聋哑人的世界，更多地了解和满足他们内心的情感需求，增强他们的社会归属感和生活幸福感。因此，逐步实现健康人与聋哑人之间的无障碍交流，具有深远的意义和良好的社会效益。在现有技术条件下，针对手语动作的特点，各国研究人员提出了不同原理的手语识别方法。

目前，用于手语信号捕获的传感器主要有表面肌电（surface electromyography，sEMG）传感器、数据手套（data glove）、深度（Kinect）传感器等。基于这些传感器，人们已经提出了许多与之相匹配的手语识别方法。使用表面肌电、数据手套和深度传感器等可以容易地捕捉到手部的运动信息。但是由于采集过程相对复杂、采集装置体积较大，特别是sEMG传感器和数据手套在数据采集时需要穿戴，较大地影响了手语动作的自然性，致使实际应用受到很大限制。视频光学传感器具有体积小、重量轻，且能直观地刻画运动状态和运动轨迹等优点，因此在手语识别中被广泛使用。但是基于光学传感器，要实现一个精确、鲁棒的手语识别系统，存在受光照环境影响严重和计算成本较高等问题，尤其是在昏暗的光照条件下，分类的准确性会显著降低。

与光学传感器不同，雷达传感器可以在不同光照环境下正常工作，并可以在被完全遮挡或部分遮挡的情况下穿透遮挡物接收手语动作的回波信号，具有探测距离远、对微小动作敏感，以及尺寸小、重量轻、便携性好等优点。此外，雷达回波信号不会暴露用户的隐私，有助于保护用户的个人信息安全，这些优点使雷达传感器逐渐被应用在各种识别任务中。

在现有技术条件下，基于雷达微多普勒图像的手语识别研究可以分成两类，一类是基于深度学习技术的雷达微多普勒图像手语识别方法；另一类是基于经典的特征提取的雷达微多普勒图像手语识别方法。在基于深度学习技术的手语识别技术研究方面，2016年Kim Y 等人首次将微多普勒雷达用于手势动作的采集与识别，研究了利用深度卷积神经网络（Deep Convolutional Neural Network，DCNN）对探测得到的微多普勒图像进行手势识别的可行性。Zhang J 等人使用连续小波变换分析了雷达回波信号的频率成分，获得了时频谱图，并使用可变形卷积、缩放指数线性单元改进对抗生成网络，实现了手势分类。Sakamoto T等人提出了一种结合雷达回波I-Q 图和 CNN 的手势识别方法。2020 年，AhmedS等人从脉冲无线电超宽带(IR-UWB)雷达的回波信号中提取运动信息，使用基于Inception模块的DCNN进行了手势分类。