[发明专利]一种基于镜像视觉反馈的面部肌肉康复训练系统

摘要

本发明公开了一种基于镜像视觉反馈的面部肌肉康复训练系统，首先获取图像数据，检测人脸并对人脸特征点以及头部的姿态进行检测，根据面部特征点对患者患侧面部的特征点进行镜像调整；根据更新的特征点位置调整患者患侧面部图像；对脸部图像整体进行微调，修正调整后的瑕疵；显示调整后的画面；此时患者健侧面部运动的特征将叠加到患者患侧面部，并通过增强现实以及图像处理的技术实现患者侧面和显示图像的共同运动，随后患者将在显示图像的指导下，进行康复锻炼。本发明的有益效果是能够实时显示患者面部图像特征，在指导下完成康复训练。

主权项

1.一种面部肌肉镜像视觉反馈康复训练系统，其特征在于按照以下步骤进行：步骤1：获取图像数据，患者坐于设备前方，通过设备前方的摄像头拍摄患者面部图像，并进行系统校准，包括选择反馈模式、调整座椅高度、设备距离，矫正后使得患者脸部占二分之一以上大屏幕；步骤2：检测人脸并对人脸特征点进行检测，进行脸部识别及特征点检测，如有需要治疗师可按照系统提示，手动对准关键的面部特征点来完成校正；步骤3：对得到的人脸特征点进行优化调整。具体来说，通过原图得到灰度轮廓图，再根据眼部、嘴部的灰度轮廓图针对开闭眼时眼皮特征点及开闭嘴时嘴部的特征点进行调整。通过眉毛在竖直方向上的颜色梯度变化确定眉毛的准确位置，进行调整；步骤4：根据所选择的反馈模式进行以下操作：模式一：(1)对健侧特征点以鼻梁为中心，并结合患者的头部姿态，映射得到患侧新特征点，与健侧特征点组合得到新的完整脸部特征点。(2)在图片边缘处添加多个特征点，加上检测得到的全部脸部特征点构建一张能覆盖整个图片的三角形网格；(3)逐一建立从原特征点构建的三角网格到新特征点构建的三角网格之间一对一的仿射矩阵；(4)将原图根据仿射矩阵变换得到最终图像；模式二：(1)根据患者的头部姿态调整图像角度及脸部特征点位置；(2)以调整后的鼻梁为中心把患者健侧图像镜像映射到患者患侧，并对边缘进行模糊融合处理；(3)恢复图像角度，得到最终图像；步骤5：对脸部图像整体进行微调，修正调整后的瑕疵；步骤6：显示调整后的画面；此时患者健侧面部运动的特征将叠加到患者患侧面部，并通过增强现实以及图像处理的技术实现患者患侧面和显示图像的共同运动，随后患者将在显示图像的指导下，进行康复锻炼。