[发明专利]数据处理方法、装置、电子设备和计算机可读存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

获得待展示形象的脸部图像；

获得目标真实对象在直播过程中的直播图像；

基于所述直播图像进行人脸关键点提取，得到所述目标真实对象的人脸关键点信息；

将所述人脸关键点信息转换为待展示形象的驱动信号；

基于所述脸部图像和驱动信号得到所述待展示形象以所述目标真实对象的脸部姿态进行直播的数据。

2.根据权利要求1所述的数据处理方法，其特征在于，基于所述脸部图像和驱动信号得到所述待展示形象以所述目标真实对象的脸部姿态进行直播的数据的步骤，包括：

将所述脸部图像和驱动信号作为深度神经网络生成模型的输入，得到所述待展示形象以所述目标真实对象的脸部姿态进行直播的数据。

3.根据权利要求2所述的数据处理方法，其特征在于，所述深度神经网络生成模型包括编码器和解码器，所述编码器包括多个下采样层，每个所述下采样层包括深度可分离卷积层；所述解码器包括多个上采样层，每个所述上采样层包括反卷积层；

所述将所述脸部图像和驱动信号作为深度神经网络生成模型的输入，得到所述待展示形象以所述目标真实对象的脸部姿态进行直播的数据的步骤，包括：

将所述脸部图像和驱动信号作为所述编码器的输入，基于多个所述下采样层进行处理，得到处理结果；

将所述处理结果作为所述解码器的输入，基于多个所述上采样层进行处理，得到所述待展示形象以所述目标真实对象的脸部姿态进行直播的数据。

4.根据权利要求2所述的数据处理方法，其特征在于，所述方法还包括训练得到所述深度神经网络生成模型的步骤，该步骤包括：

将训练数据集中的脸部图像和驱动信号作为编码器的输入，基于所述编码器包括的多个下采样层进行处理，得到处理结果；其中，每个所述下采样层包括深度可分离卷积层；

将所述处理结果作为解码器的输入，基于所述解码器包括的多个上采样层进行处理，得到待展示形象以真实对象的脸部姿态进行直播的数据；其中，每个所述上采样层包括反卷积层；

基于得到的所述数据判断是否满足模型收敛条件，如果未满足所述模型收敛条件，则返回执行将训练数据集中的脸部图像和驱动信号作为编码器的输入至得到待展示形象以真实对象的脸部姿态进行直播的数据的步骤，直至最新得到的数据满足所述模型收敛条件。

5.根据权利要求4所述的数据处理方法，其特征在于，得到的所述数据为根据所述驱动信号生成的所述待展示形象的图像；

所述基于得到的所述数据判断是否满足模型收敛条件的步骤，包括：

判断生成的所述待展示形象的图像与所述训练数据集中真实对象的图像的差距是否低于预设阈值，若高于所述预设阈值，判定未满足所述模型收敛条件；若低于所述预设阈值，判定满足所述模型收敛条件。

6.根据权利要求3至5任意一项所述的数据处理方法，其特征在于，所述编码器包括的下采样层的数量与所述解码器包括的上采样层的数量相同；每个所述下采样层包括的深度可分离卷积层和每个所述上采样层包括的反卷积层的步长和卷积核相同。

7.根据权利要求1所述的数据处理方法，其特征在于，所述获得待展示形象的脸部图像的步骤包括：

获得目标真实对象上传的卡通人物的脸部图像，将该卡通人物的脸部图像作为待展示形象的脸部图像；或者，

展示预存的至少一个卡通人物的脸部图像，获得目标真实对象从所述至少一个卡通人物的脸部图像中选择的卡通人物的脸部图像，将该卡通人物的脸部图像作为待展示形象的脸部图像。

8.一种数据处理装置，其特征在于，包括：

图像获得模块，用于获得待展示形象的脸部图像，以及获得目标真实对象在直播过程中的直播图像；

信息处理模块，用于基于所述直播图像进行人脸关键点提取，得到所述目标真实对象的人脸关键点信息，将所述人脸关键点信息转换为待展示形象的驱动信号，以及基于所述脸部图像和驱动信号得到所述待展示形象以所述目标真实对象的脸部姿态进行直播的数据。