[发明专利]一种基于多模态数据融合的识别方法和系统

摘要

本发明提出了一种基于多模态数据融合的识别方法和系统，其中方法包括：对人脸图像或视频进行3D人脸重建，获得3D人脸参数，所述3D人脸参数姿态参数、形状和表情参数；所述表情参数包括唇形表情参数；通过语音特征抽取网络，在离线阶段从数据库或预先录制的语音样本中提取语音高阶特征，并自适应选择倒谱系数从而获得口唇相关系数，根据所述口唇相关系数结合所述唇形表情参数，建立口唇相关系数网络。通过此方法和系统综合利用人脸图像或视频、语音信息和肢体动作信息，实现了虚拟形象的综合表达，使得虚拟形象具备更加逼真的外貌、口唇合成和整体动作协调，从而实现更加自然、生动的人机交互效果。