[发明专利]一种基于RGB-D相机和人脸识别的视障人士辅助方法

摘要

本发明公开了一种基于RGB‑D相机和人脸识别的视障人士辅助方法。该方法包括：利用RGB‑D采集到的彩色图像和深度图像进行人脸的跟踪，并自动为这些人脸赋予标签；所述标签由使用者通过麦克风输入，包括但不限于人脸的姓名、个人信息、电话号码等；人脸图像被正面化矫正，可以适应不同姿态下的识别；所述矫正后的人脸图像被用于在神经网络中训练人脸识别模型；待识别的人脸图像被输入到所述训练好的人脸识别模型，模型输出的识别结果通过3D立体声的方式传递给使用者；所述3D立体声可以提示的信息包括：在深度图像中人脸的方位和人脸距离使用者的远近。

主权项

1.一种基于RGB‑D相机和人脸识别的视障人士辅助方法，其特征在于，具体步骤如下：(1)人脸的录入和人脸数据库的建立；针对每一个识别对象，分别采集多帧连续的彩色图像和深度图像，进一步通过RGB‑D中的彩色图像通道检出人脸图像，以第一帧中检出的人脸图像作为人脸跟踪的初始化起点；若在第n帧中出现人脸漏检或检测错误，则可以启动人脸跟踪模式，检出人脸的区域；录入所有识别对象的人脸图像数据和对应的姓名，建立人脸数据库；所述人脸跟踪模式包括以下步骤：第一，在第n‑1帧的人脸检出情况下，分别计算彩色图和深度图中的人脸区域的直方图；彩色直方图的横坐标为色度值，纵坐标为每个色度值对应的像素的个数；深度直方图的横坐标为深度值，纵坐标为每个深度值对应的像素的个数；第二，在第n帧中，计算彩色图和深度图的反向投影图；彩色图对应的反向投影图是将彩色图中的每个像素点的色度值替换为彩色直方图中对应的纵坐标而获得；深度图对应的反向投影图是将深度图中的每个像素点的深度值替换为深度直方图中对应的纵坐标而获得；将两个反向投影图融合后，得到更符合实际情况的人脸区域预测；第三，在融合后的反向投影图中，应用均值漂移算法MeanShift，计算出第n帧人脸的区域；(2)人脸图像的矫正；(3)神经网络训练；(4)识别人脸；(5)3D立体声用于识别结果的交互。