[发明专利]虚拟脸部模型的表情拟真系统及方法

说明书

一种虚拟脸部模型的表情拟真系统及方法。该表情拟真系统储存多个三维脸部模型，该多个三维脸部模型一对一地对应至多个预设情绪。该表情拟真系统根据一声音信号辨识出一当前情绪，且根据该当前情绪从该多个三维脸部模型选取一选定模型，该选定模型所对应的该预设情绪与该当前情绪相同。该表情拟真系统根据一下半脸影像预测一上半脸影像，将之整合为一全脸影像，再借由将该全脸影像的多个脸部特征与该选定模型的多个脸部特征匹配以获得多个特征对应关系，俾一虚拟脸部模型根据该多个特征对应关系而改变以模拟一表情。

【技术领域】

本发明是关于一种虚拟脸部模型的表情拟真系统及方法。更具体而言，本发明是关于一种利用影像预测及声音信号来进行辨识的虚拟脸部模型的表情拟真系统及方法。

【背景技术】

在虚拟实境(Virtual Reality；VR)的应用中，使虚拟人物具有拟真的表情变化以提升使用者在虚拟实境中的互动体验为相当重要的议题。某些已知技术中，会利用影像来即时辨识使用者的即时脸部表情，再据以模拟虚拟人物的表情，但在虚拟实境的应用中使用者会配戴头戴式显示器(Head-Mounted Display；HMD)而遮蔽使用者的上半脸部，导致辨识不准确，进而导致模拟效果不佳。

为克服上半脸被遮蔽的问题，某些已知技术则在头戴式显示器中配置多个传感器(例如：三维传感器、红外线传感器、肌电图(Electromyogram；EMG)传感器、眼动图(Electrooculogram；EOG)传感器等)以检测被遮蔽的上半脸的肌肉变化等信息，再依据肌肉变化模拟上半脸的表情。然而，配置大量的传感器将使得硬件的成本增加，且由传感器的数据所模拟出的上半脸表情与由即时脸部影像所模拟的下半脸表情可能会有冲突，或是无法整合。

有鉴于此，如何使虚拟人物在虚拟实境中具有拟真的脸部表情仍为业界亟需努力的目标。

【发明内容】

本发明的一目的在于提供一种虚拟脸部模型的表情拟真系统。该表情拟真系统包含一存储器及处理器，其中，该处理器电性连接至该存储器。该存储器储存多个三维脸部模型，其中，该多个三维脸部模型一对一地对应至多个预设情绪。该处理器根据一声音信号辨识出一当前情绪，且根据该当前情绪从该多个三维脸部模型选取出一选定模型，其中，该选定模型所对应的该预设情绪与该当前情绪相同。该处理器根据一下半脸影像预测出一上半脸影像，将该下半脸影像及该上半脸影像整合为一全脸影像，以及借由将该全脸影像的多个脸部特征与该选定模型的多个脸部特征匹配以获得多个特征对应关系，俾一虚拟脸部模型根据该多个特征对应关系而改变以模拟一表情。

本发明的又一目的在于提供一种虚拟脸部模型的表情拟真方法，其是适用于一电子计算装置。该电子计算装置储存多个三维脸部模型，其中，该多个三维脸部模型一对一地对应至多个预设情绪。该虚拟脸部模型的表情拟真方法包含下列步骤：(a)根据一声音信号辨识出一当前情绪，(b)根据该当前情绪从该多个三维脸部模型选取出一选定模型，其中，该选定模型所对应的该预设情绪与该当前情绪相同，(c)根据一下半脸影像预测出一上半脸影像，(d)将该下半脸影像及该上半脸影像整合为一全脸影像，以及(e)借由将该全脸影像的多个脸部特征与该选定模型的多个脸部特征匹配以获得多个特征对应关系，俾一虚拟脸部模型根据该多个特征对应关系而改变以模拟一表情。

本发明所提供的虚拟脸部模型的表情拟真技术(包含表情拟真系统及其方法)根据使用者的声音辨识出一当前情绪，再根据该当前情绪从该多个三维脸部模型中选取出一选定模型，因此该选定模型所具有的表情确实符合使用者的当前情绪。本发明所提供的表情拟真技术还会根据使用者当前的一下半脸影像预测出一上半脸影像，且整合出使用者当前的一全脸影像。由于当前的全脸影像具有更即时、明确及细微的表情变化，因此借由找出该全脸影像的多个脸部特征与该选定模型的多个脸部特征间的特征对应关系，再据以改变使用者所对应的虚拟脸部模型，能使该虚拟脸部模型更精准地模拟使用者的表情。因此，本发明能在不额外地配置传感器的情况下，解决头戴式显示器遮蔽使用者部分脸部而无法使虚拟脸部模型具有拟真表情的问题。