[发明专利]基于3D成像技术的唇语翻译装置及唇语翻译方法

权利要求书

1.一种基于3D成像技术的唇语翻译装置，其特征在于，所述唇语翻译装置包括2个3D摄像机、一识别模块、一处理模块以及一输出模块，

所述3D摄像机用于获取一嘴部的3D影像；

所述3D摄像机包括一红外线发射器及一红外线接收器，所述红外线发射器用于发射红外散斑场，所述红外线接收器用于接收红外散斑场的反馈，第一3D摄像机从正面拍摄所述嘴部，第二3D摄像机从第一3D摄像机下方拍摄所述嘴部，第一3D摄像机和第二3D摄像机的拍摄方向夹角为锐角，所述唇语翻译装置还包括一拼接模块，

所述拼接模块用于所述识别模块识别2个3D摄像机获取的3D影像上的特征点，并将2个3D影像通过相同特征点重合的方式缝合以生成一3D模型；

所述识别模块用于识别3D模型结构层上的空间特征点，每一3D模型与由自身空间特征点形成的特征点组合相对应；

所述结构层上的特征点包括唇部特征点、牙齿特征点、舌头特征点及下巴特征点，所述特征点组合记录全部特征点在3D空间中的相对位置关系；所述唇语翻译装置还包括一记录模块以及一调整模块，

所述3D摄像机用于按时序获取若干嘴部的3D影像；

所述处理模块用于识别与特征点组合匹配的嘴型；

所述记录模块用于记录每一3D影像匹配嘴型所对应的拼音；

所述调整模块用于根据全部拼音的语境选取每个拼音对应的汉字；

所述输出模块用于按所述时序输出全部所述汉字。

2.如权利要求1所述的唇语翻译装置，其特征在于，所述唇语翻译装置还包括一训练模块，

所述训练模块用于利用一数据库对一目标嘴型做模型训练，所述数据库包括若干含义为所述目标嘴型的3D影像。

3.一种利用唇语翻译装置实现的唇语翻译方法，其特征在于，所述唇语翻译装置包括2个3D摄像机，所述3D摄像机包括一红外线发射器及一红外线接收器，所述红外线发射器用于发射红外散斑场，所述红外线接收器用于接收红外散斑场的反馈，第一3D摄像机从正面拍摄嘴部，第二3D摄像机从第一3D摄像机下方拍摄所述嘴部，第一3D摄像机和第二3D摄像机的拍摄方向夹角为锐角，所述唇语翻译方法包括：

所述3D摄像机获取嘴部的3D影像；

识别2个3D摄像机获取的3D影像上的特征点，并将2个3D影像通过相同特征点重合的方式缝合以生成一3D模型；

识别3D模型结构层上的空间特征点，每一3D模型与由自身空间特征点形成的特征点组合相对应；所述结构层上的特征点包括唇部特征点、牙齿特征点、舌头特征点及下巴特征点，所述特征点组合记录全部特征点在3D空间中的相对位置关系；

所述3D摄像机按时序获取若干嘴部的3D影像；

识别与特征点组合匹配的嘴型；

记录每一3D影像匹配嘴型所对应的拼音；

根据全部拼音的语境选取每个拼音对应的汉字；

按所述时序输出全部所述汉字。

4.如权利要求3所述的唇语翻译方法，其特征在于，所述唇语翻译方法包括：

利用一数据库对一目标嘴型做模型训练，所述数据库包括若干含义为所述目标嘴型的3D影像。