[发明专利]虚拟人物的驱动方法、装置、设备及存储介质

权利要求书

1.一种虚拟人物的驱动方法，其特征在于，包括：

获取待处理素材，所述待处理素材为如下内容中的任意一种：视频、语音、文本；

对所述待处理素材进行处理，得到所述待处理素材中目标虚拟人物的驱动数据，所述驱动数据包括：情感数据以及所述情感数据对应的面部表情向量和身体姿态向量；

在播放所述待处理素材对应目标视频时，基于所述驱动数据驱动所述目标虚拟人物执行相应的动作。

2.根据权利要求1所述的方法，其特征在于，所述在播放所述待处理素材对应目标视频时，基于所述驱动数据驱动所述目标虚拟人物执行相应的动作，包括：

在播放所述待处理素材对应目标视频时，将所述驱动数据中的面部表情向量映射到所述目标虚拟人物的人脸关键点上，驱动所述目标虚拟人物做出所述面部表情向量对应的表情；

将所述驱动数据中的身体姿态向量映射到所述目标虚拟人物的身体关键点上，驱动所述目标虚拟人物做出所述身体姿态向量对应的姿态；

控制所述目标虚拟人物以所述情感数据发出语音。

3.根据权利要求1或2所述的方法，其特征在于，所述待处理素材为待处理视频时，所述对所述待处理素材进行处理，得到所述待处理素材中目标虚拟人物的驱动数据，包括：

对所述待处理视频中的包含目标虚拟人物的每帧图片进行处理，确定每帧图片中的人脸区域和身体区域；

对每帧图片中人脸区域的面部表情进行量化，得到所述目标虚拟人物的面部表情向量；

对每帧图片中身体区域的身体姿态进行量化，得到所述目标虚拟人物的身体姿态向量；

对所述待处理视频中所述目标虚拟人物的语音进行识别，确定所述目标虚拟人物的情感数据；

对所述目标虚拟人物的面部表情向量、身体姿态向量和情感数据进行整合，得到所述目标虚拟人物的驱动数据。

4.根据权利要求3所述的方法，其特征在于，所述对所述每帧图片中人脸区域的面部表情进行量化，得到所述目标虚拟人物的面部表情向量，包括：

对所述待处理视频中的人脸区域进行检测，确定所述目标虚拟人物的多个人脸关键点；

根据所有人脸关键点的位置信息、以及相邻人脸关键点之间的相互关系，对所述目标虚拟人物的面部表情进行量化，得到所述目标虚拟人物的面部表情向量。

5.根据权利要求1所述的方法，其特征在于，所述待处理素材为待处理语音时，所述对所述待处理素材进行处理，得到所述待处理素材中目标虚拟人物的驱动数据，包括：

从所述待处理语音中抽取所述目标虚拟人物的语音，得到目标语音；

利用语音识别方法，将所述目标语音转换为目标文本；

基于神经语言程序学方法对所述目标文本进行分析，确定所述目标虚拟人物的情感数据；

根据所述情感数据和预先存储的面部表情向量、身体姿态向量与情感数据的关联关系，确定所述目标虚拟人物的面部表情向量和身体姿态向量；

对所述目标虚拟人物的面部表情向量、身体姿态向量和情感数据进行整合，得到所述目标虚拟人物的驱动数据。

6.根据权利要求1所述的方法，其特征在于，所述待处理素材为待处理文本时，所述对所述待处理素材进行处理，得到所述待处理素材中目标虚拟人物的驱动数据，包括：

基于神经语言程序学方法对所述待处理文本进行分析，确定所述目标虚拟人物的情感数据；

根据所述情感数据和预先存储的面部表情向量、身体姿态向量与情感数据的关联关系，确定所述目标虚拟人物的面部表情向量、身体姿态向量；

对所述目标虚拟人物的面部表情向量、身体姿态向量和情感数据进行整合，得到所述目标虚拟人物的驱动数据。

7.根据权利要求5或6所述的方法，其特征在于，所述方法还包括：

获取历史视频数据集合，所述历史视频数据集合包括多段视频数据，每段视频数据均包括至少一个虚拟人物；

对所述多段视频数据中每个虚拟人物的面部表情向量、身体姿态向量和情感数据进行分析，建立并存储面部表情向量、身体姿态向量与情感数据的关联关系。