[发明专利]一种基于RGB-D相机和人脸识别的视障人士辅助方法

说明书

本发明公开了一种基于RGB‑D相机和人脸识别的视障人士辅助方法。该方法包括：利用RGB‑D采集到的彩色图像和深度图像进行人脸的跟踪，并自动为这些人脸赋予标签；所述标签由使用者通过麦克风输入，包括但不限于人脸的姓名、个人信息、电话号码等；人脸图像被正面化矫正，可以适应不同姿态下的识别；所述矫正后的人脸图像被用于在神经网络中训练人脸识别模型；待识别的人脸图像被输入到所述训练好的人脸识别模型，模型输出的识别结果通过3D立体声的方式传递给使用者；所述3D立体声可以提示的信息包括：在深度图像中人脸的方位和人脸距离使用者的远近。

技术领域

本发明涉及模式分类，机器学习，人脸识别，视觉障碍人群辅助技术领域，尤其涉及一种基于RGB-D相机和人脸识别的视障人士辅助方法。

背景技术

根据世界卫生组织(WHO)的数据，全球有2.85亿视障人士，其中有3900万是盲人。视障人士的日常生活中，识别周围人的身份是突出的需求。在没有其他设备的辅助下，视障人士只能通过辨别声音来判断，这在很大程度上受限于视障人士与其周围人的熟悉程度，距离，环境嘈杂度等因素。传统的人脸识别方法，一般采用彩色相机拍摄人脸图像，并且需要保证正面的人脸和均匀的光照，这就要求采集人脸样本的过程中，人脸尽量靠近相机并且正面面向相机。因此，设计一种专门面向视障人士的人脸识别系统，并使用简单自然的交互方式，将在很大程度上为视障人士提供方便。

发明内容

本发明的目的是利用RGB-D相机和人脸识别技术，解决视障人士的认人和识人方面存在的不便利性，旨在为视障人士提供一种简单易用，交互方式人性化的辅助方法。

本发明通过以下技术方案来实现：一种基于RGB-D相机和人脸识别的视障人士辅助方法，具体步骤如下：(1)人脸的录入和人脸数据库的建立；(2)人脸图像的矫正；(3)神经网络训练；(4)识别人脸；(5)3D立体声用于识别结果的交互。

所述步骤(1)具体为：针对每一个识别对象，分别采集多帧连续的彩色图像和深度图像，进一步通过RGB-D中的彩色图像通道检出人脸图像，以第一帧中检出的人脸图像作为人脸跟踪的初始化起点。若在第n帧中出现人脸漏检或检测错误，则可以启动人脸跟踪模式，检出人脸的区域。录入所有识别对象的人脸图像数据和对应的姓名，建立人脸数据库。所述人脸跟踪模式包括以下步骤：

第一，在第n-1帧的人脸检出情况下，分别计算彩色图和深度图中的人脸区域的直方图。彩色直方图的横坐标为色度值，纵坐标为每个色度值对应的像素的个数；深度直方图的横坐标为深度值，纵坐标为每个深度值对应的像素的个数。

第二，在第n帧中，计算彩色图和深度图的反向投影图。彩色图对应的反向投影图是将彩色图中的每个像素点的色度值替换为彩色直方图中对应的纵坐标而获得；深度图对应的反向投影图是将深度图中的每个像素点的深度值替换为深度直方图中对应的纵坐标而获得。将两个反向投影图融合后，得到更符合实际情况的人脸区域预测。

第三，在融合后的反向投影图中，应用均值漂移算法MeanShift，计算出第n帧人脸的区域。

所述步骤(2)具体为：

第一，调整人脸图像的格式为统一大小，即100像素*100像素。

第二，检出人脸区域的特征点，所述特征点包括脸颊轮廓、眼睛、眉毛、鼻子、嘴巴。所述特征点的检出是基于彩色图像的。

第三，以具有上述特征点的三维人脸模型为基准坐标系，根据彩色图像中的特征点位置，对RGB-D进行坐标标定，得到相机坐标系。

第四，三维模型中的所有点被投影到所述相机坐标系中。

第五，将彩色图像投影到相机坐标系下的三维模型中，赋予每个点的RGB信息；

第六，对赋值后的三维模型进行正面投影，得到矫正后的人脸图像。