[发明专利]结合生理模型和数据驱动模型的三维发音器官动画方法

摘要

本发明提供一种结合生理模型和数据驱动模型的三维发音器官动画方法，涉及计算机图形学、智能人机交互等技术领域，该方法能够产生高真实感的发音器官动画，该方法有如下特性：（1）利用了发音器官的生理模型和运动机理，从而可以模拟发音器官的稠密运动和发音器官之间的碰撞挤压等复杂运动，使得发音器官动画更具真实感；（2）采集丰富的包含各种协同发音现象的语料库，并同步地利用EMA传感器记录下三维发音器官上特征点的运动轨迹，接着通过训练上述数据集来建立能够描述连续语音中发音器官动态变化特性的、与发音过程协调一致的隐马尔可夫模型，从而使得发音器官动画与发音过程协调一致的同时，能够充分描述连续语音中的可视化协同发音现象。

主权项

一种结合生理模型和数据驱动模型的三维发音器官动画方法，其特征在于，该方法基于核磁共振成像（MRI）得到的精细舌头三维几何模型，根据发音器官运动特性和声学特性的相关性，结合真实捕捉的运动数据和发音器官的生理运动机理，并采用多流隐马尔可夫模型建立的发音器官运动模型，该发音器官运动模型，其表现的动画与发音过程协调一致的同时，能够充分描述连续语音中的可视化协同发音现象，并且建立了发音器官之间的碰撞挤压模型，该碰撞挤压模型，其通过检测舌头的节点是否穿过口腔壁或牙齿来判断是否发生碰撞，并根据节点渗入的深度来计算回缩力，进而计算出挤压程度，从而高真实感地模拟了发音器官的运动特性；首先采集丰富的包含各种协同发音现象的语料库，并且同步地利用EMA传感器记录下三维发音器官上特征点的运动轨迹，接着通过训练上述数据集来建立能够描述连续语音中发音器官动态变化特性的、与发音过程协调一致的隐马尔可夫模型(Hidden Markov Model:HMM)，然后据此HMM能够根据输入语音信息来预测当前发音器官上特征点的运动，最后结合发音器官的生理结构和运动机理以及它们之间的碰撞挤压建模来完成发音器官的整体动画合成。