[发明专利]基于多模态捕捉的快速动画成片方法和系统

说明书

本发明公开了一种基于多模态捕捉的快速动画成片方法和系统，方法基于混合动作捕捉与表情捕捉，首先对对演员进行多模态捕捉；然后将多模数据融合处理；之后传输捕捉数据至动画制作端；最后在动画制作端将动作与表情数据复现至虚拟模型上实时录制动画成片。系统包括多模态捕捉模块、数据融合处理模块、数据传输模块、内容制作模块。应用本发明不仅可以减小动画制作工作量、减小渲染制作周期，而且可以实时制作沉浸感更强的全景动画，丰富了动画制作形式。

技术领域

本发明涉及一种基于多模态捕捉的快速动画成片方法和系统，属于人机交互领域，尤其涉及动作捕捉、表情捕捉、数据传输与动画制作领域。

背景技术

近些年来随着制作技术的不断革新，计算机动画产业呈现蓬勃发展之势，聚集了高额资本的同时形成了一个庞大的市场。优质动画与动画电影的不断推出，不仅丰富了儿童青少年的娱乐生活，对成年人来说也有着广泛巨大的吸引力。三维动画制作逐步成为动画产业的主流，带来了前所未有的观看体验。传统三维动画制作主要利用“关键帧控制模型”方法，即制作人员在关键帧设置模型动画，再通过计算机插值生成图像序列，最后再渲染成片。由于涉及到不同身体结构、不同面部结构的三维模型的动作和表情的手动控制，这种动画制作方法工作量很大，也需要专门的动画软件进行长时间的后期渲染，难以提高三维动画制作的效率。传统三维动画也同样只能提供平面视频式动画，观众的沉浸感不够强烈。

动作捕捉，指记录并处理表演者的动作在三维空间的运动状况的技术，主要分为光学式与惯性式。光学式运动捕捉，一般是使用红外对目标标记点所代表的刚体三维运动进行捕捉，捕捉精度高，但对场地光照以及标记点遮挡比较敏感，并且受相机分辨率影响对小目标的精细运动捕捉效果不佳；惯性式动作捕捉，通过在捕捉目标的重要节点佩戴集成加速度计，陀螺仪和磁力计等惯性传感器设备，对使用环境的适应性高，但是由于累积误差和测量噪声等因素的影响，无法对多节点进行长时间的精确跟踪。表情捕捉则是针对人脸面部运动进行捕捉记录，再在三维空间中完成对面部表情的重建。

发明内容

针对现有技术存在的问题，本发明的目的在于提供一种基于多模态捕捉的快速动画成片方法及系统，利用光学式、惯性式动作捕捉与表情捕捉结合的多模态捕捉，以克服当前动画成片工作量大、渲染成片时间长、动画沉浸感不够强的问题。

为达到上述目的，本发明采用如下技术方案：

一种基于多模态捕捉的快速动画成片方法，包括以下步骤：

101.对演员进行多模态捕捉；

102.将多模数据融合处理；

103.传输捕捉数据至动画制作端；

104.在动画制作端将动作与表情数据复现至虚拟模型上实时录制成片。

在所述步骤101对演员进行多模态捕捉之前，进一步包括：对多模态捕捉模块进行标定和校准，以减小捕捉误差。

所述步骤101对演员进行多模态捕捉，包括通过光学式与惯性式捕捉单元对演员进行混合动作捕捉，对视野清晰的较大部位采用光学动捕，对易遮挡或者分辨率不够的小部位使用惯性捕捉，并通过对无线相机对脸部进行表情捕捉。

所述步骤102将多模数据融合处理，包括将步骤101取得的光学式动捕数据、惯性式动捕数据、表情捕捉数据整合为统一的捕捉数据，计算表征演员特定身形、面部的特征参数。

在所述步骤103传输捕捉数据至动画制作端之前，进一步包括：记录所传输数据为离线数据，供之后重复利用。

所述步骤103传输捕捉数据至动画制作段，传输接口采用C/S，即客户机/服务器结构，实现两端的网络透明传输。

所述步骤104动画制作端将动作与表情数据复现至虚拟模型上实时录制成片的步骤或包括：