[发明专利]虚拟形象控制方法、装置及电子设备

权利要求书

1.一种虚拟形象控制方法，其特征在于，应用于直播提供终端，所述方法包括：

将视频采集装置实时采集的主播视频帧输入到预先训练的互动动作识别模型中，识别所述主播视频帧中是否包含主播互动动作；

当在预设数量的主播视频帧中均识别到主播互动动作时，获取预先配置的与该主播互动动作对应的虚拟形象互动内容；

根据所述虚拟形象互动内容，控制所述直播提供终端的直播界面中的虚拟形象执行对应的互动动作，以生成所述虚拟形象的互动视频流，并通过直播服务器将所述互动视频流发送给直播接收终端进行播放。

2.根据权利要求1所述的虚拟形象控制方法，其特征在于，所述互动动作识别模型包括输入层、至少一个卷积提取层、全连接层以及分类层，每个卷积提取层包括依次设置的第一点卷积层、深度卷积层以及第二点卷积层，所述卷积提取层内的每个卷积层之后设置一个激活函数层和池化层，所述全连接层位于最后一个池化层之后，所述分类层位于全连接层之后。

3.根据权利要求2所述的虚拟形象控制方法，其特征在于，所述互动动作识别模型还包括多个残差网络层，每个残差网络层用于将所述互动动作识别模型中任意相邻的两层的输出部分与该相邻的两层之后一层的输入部分串接。

4.根据权利要求1-3中任意一项所述的虚拟形象控制方法，其特征在于，所述方法还包括预先训练所述互动动作识别模型的步骤，具体包括：

建立神经网络模型；

采用公开数据集对所述神经网络模型进行预训练，得到预训练神经网络模型；

采用收集数据集对所述预训练神经网络模型进行迭代训练，得到所述互动动作识别模型，其中，所述收集数据集包括标记有不同主播互动动作的实际目标的训练样本图像集，所述实际目标为所述主播互动动作在训练样本图像中的实际图像区域。

5.根据权利要求4所述的虚拟形象控制方法，其特征在于，所述采用收集数据集对所述预训练神经网络模型进行迭代训练，得到所述互动动作识别模型的步骤，包括：

将所述训练样本图像集中的每个训练样本图像输入到所述预训练神经网络模型的输入层进行预处理，得到预处理图像；

针对所述预训练神经网络模型的每个卷积提取层，通过该卷积提取层的第一点卷积层、深度卷积层以及第二点卷积层分别提取预处理图像的多维特征图像，并将提取得到的多维特征图像输入到所连接的激活函数层中进行非线性映射，而后将非线性映射后的多维特征图像输入到所连接的池化层中进行池化处理，并将池化处理得到的池化特征图输入到下一层卷积层进行特征提取；

将最后一层池化层输出的池化特征图输入到全连接层，得到全连接特征输出值；

将所述全连接特征输出值输入到分类层中进行预测目标分类，得到每个训练样本图像的预测目标；

计算各个训练样本图像的预测目标与实际目标之间的损失函数值；

根据所述损失函数值进行反向传播训练，并计算所述预训练神经网络模型的网络参数的梯度；

根据计算得到的所述梯度，采用随机梯度下降法更新所述预训练神经网络模型的网络参数后继续训练，直到所述预训练神经网络模型满足训练终止条件时，输出训练得到的互动动作识别模型。

6.根据权利要求5所述的虚拟形象控制方法，其特征在于，所述根据所述损失函数值进行反向传播训练，并计算所述预训练神经网络模型的网络参数的梯度的步骤，包括：

根据所述损失函数值确定反向传播训练的反向传播路径；

通过所述预训练神经网络模型的残差网络层选择与所述反向传播路径对应的串接节点进行反向传播训练，并在到达所述反向传播路径对应的串接节点时，计算所述预训练神经网络模型的网络参数的梯度。

7.根据权利要求4所述的虚拟形象控制方法，其特征在于，在采用收集数据集对所述预训练神经网络模型进行迭代训练，得到所述互动动作识别模型的步骤之前，所述方法还包括：

调整所述训练样本图像集中每个训练样本图像的图像参数，以对所述训练样本图像集进行样本扩展。