[发明专利]一种基于镜像视觉反馈的面部肌肉康复训练系统

权利要求书

1.一种面部肌肉镜像视觉反馈康复训练系统，其特征在于按照以下步骤进行：

步骤1：获取图像数据，患者坐于设备前方，通过设备前方的摄像头拍摄患者面部图像，并进行系统校准，包括选择反馈模式、调整座椅高度、设备距离，矫正后使得患者脸部占二分之一以上大屏幕；

步骤2：检测人脸并对人脸特征点进行检测，进行脸部识别及特征点检测，如有需要治疗师可按照系统提示，手动对准关键的面部特征点来完成校正；

步骤3：对得到的人脸特征点进行优化调整。具体来说，通过原图得到灰度轮廓图，再根据眼部、嘴部的灰度轮廓图针对开闭眼时眼皮特征点及开闭嘴时嘴部的特征点进行调整。通过眉毛在竖直方向上的颜色梯度变化确定眉毛的准确位置，进行调整；

步骤4：根据所选择的反馈模式进行以下操作：

模式一：

(1)对健侧特征点以鼻梁为中心，并结合患者的头部姿态，映射得到患侧新特征点，与健侧特征点组合得到新的完整脸部特征点。

(2)在图片边缘处添加多个特征点，加上检测得到的全部脸部特征点构建一张能覆盖整个图片的三角形网格；

(3)逐一建立从原特征点构建的三角网格到新特征点构建的三角网格之间一对一的仿射矩阵；

(4)将原图根据仿射矩阵变换得到最终图像；

模式二：

(1)根据患者的头部姿态调整图像角度及脸部特征点位置；

(2)以调整后的鼻梁为中心把患者健侧图像镜像映射到患者患侧，并对边缘进行模糊融合处理；

(3)恢复图像角度，得到最终图像；

步骤5：对脸部图像整体进行微调，修正调整后的瑕疵；

步骤6：显示调整后的画面；此时患者健侧面部运动的特征将叠加到患者患侧面部，并通过增强现实以及图像处理的技术实现患者患侧面和显示图像的共同运动，随后患者将在显示图像的指导下，进行康复锻炼。

2.按照权利要求1所述一种面部肌肉镜像视觉反馈康复训练系统，其特征在于：所述模式一或模式二的康复锻炼方法：

1.面部放松：在治疗开始前，系统将提示病人放松面部肌肉，注意观察并适应设备里面自己样子，系统播放舒缓音乐；

2.面部模仿训练：待病人接受屏幕中自己的样子后，进行模仿训练，病人看到屏幕上面部表情或动作图片，在系统语音提示下完成模仿训练；

3.面部运动训练：系统将提供动态的面部运动动画，指导病人进行面部锻炼；

4.说话吐词训练：在完成模仿与运动训练后，系统将为病人进行说话、吐词训练，以图片、动画及语音提示的方式指导病人进行康复锻炼。