[发明专利]基于3D成像技术的唇语翻译装置及唇语翻译方法

说明书

本发明公开了一种基于3D成像技术的唇语翻译装置及唇语翻译方法，所述唇语翻译装置包括至少一3D摄像机、一识别模块、一处理模块以及一输出模块，所述3D摄像机用于获取一嘴部的3D影像；所述识别模块用于识别3D影像上的特征点，每一3D影像与由自身特征点形成的特征点组合相对应；所述处理模块用于识别与特征点组合匹配的嘴型；所述输出模块用于输出3D影像匹配嘴型所对应的信息。本发明基于3D成像技术的唇语翻译装置及唇语翻译方法能够实现对唇语的识别，方便语言障碍的用户使用，更准确的获取唇语的影像，从而建立更加清晰准确的模型，进而能够准确的将唇语翻译出来。

技术领域

本发明涉及一种基于3D成像技术的唇语翻译装置及唇语翻译方法。

背景技术

唇语，是靠看别人的说话时嘴唇的动作来解读别人说的话，是种很难的技巧，需要大量的练习，有一些听力障碍者会使用这种技巧来与他人交流。

唇语的识别是非常困难的。

发明内容

本发明要解决的技术问题是为了克服现有技术中唇语难于识别的缺陷，提供一种能够更准确的获取唇语的影像，从而建立更加清晰准确的模型，进而能够准确的将唇语翻译出来的唇语翻译装置及唇语翻译方法。

本发明是通过下述技术方案来解决上述技术问题：

一种基于3D成像技术的唇语翻译装置，其特点在于，所述唇语翻译装置包括至少一3D摄像机、一识别模块、一处理模块以及一输出模块，

所述3D摄像机用于获取一嘴部的3D影像；

所述识别模块用于识别3D影像上的特征点，每一3D影像与由自身特征点形成的特征点组合相对应；

所述处理模块用于识别与特征点组合匹配的嘴型；

所述输出模块用于输出3D影像匹配嘴型所对应的信息。

较佳地，所述摄像头为3D摄像头，所述摄像头包括一红外线发射器及一红外线接收器，所述红外线发射器用于发射红外散斑场，所述红外线接收器用于接收红外散斑场的反馈，所述3D摄像机的个数为2个，第一3D摄像机从正面拍摄所述嘴部，第二3D摄像机从第一3D摄像机下方拍摄所述嘴部，第一3D摄像机和第二3D摄像机的拍摄方向夹角为锐角，所述唇语翻译装置还包括一拼接模块，

所述拼接模块用于识别2个3D摄像机获取的3D影像上的特征点，并将2个3D影像通过相同特征点重合的方式缝合以生成一3D模型；

所述识别模块用于识别3D模型结构层上的空间特征点，每一3D模型与由自身空间特征点形成的特征点组合相对应。

较佳地，所述结构层上的特征点包括唇部特征点、牙齿特征点、舌头特征点及下巴特征点，所述特征点组合记录全部特征点在3D空间中的相对位置关系。

较佳地，所述唇语翻译装置还包括一记录模块以及一调整模块，

所述3D摄像机用于按时序获取若干嘴部的3D影像；

所述记录模块用于记录每一3D影像匹配嘴型所对应的拼音；

所述调整模块用于根据全部拼音的语境选取每个拼音对应的汉字；

所述输出模块用于按所述时序输出全部所述汉字。

较佳地，所述唇语翻译装置还包括一训练模块，

所述训练模块用于利用一数据库对一目标嘴型做模型训练，所述数据库包括若干含义为所述目标嘴型的3D影像。

本发明还提供一种利用唇语翻译装置实现的唇语翻译方法，其特点在于，所述唇语翻译装置包括至少一3D摄像机，所述唇语翻译方法包括：

所述3D摄像机获取一嘴部的3D影像；