[发明专利]视频处理方法、装置、电子设备及存储介质

说明书

本公开关于一种视频处理方法、装置、电子设备及存储介质，属于视频处理技术领域。方法包括：获取与待处理文本对应的声谱；对声谱进行分段处理，得到多个声谱段；采用表情系数序列生成模型对声谱进行预测处理，得到与声谱对应的表情系数序列，表情系数序列包括：多个表情系数，以及与表情系数对应的时长，表情系数与声谱段相对应；生成与声谱段对应的音频段；将表情系数序列和多个音频段发送至客户端，以触发客户端生成目标视频。该方法有效提升表情系数序列生成的准确性和时效性，由于对声谱进行分段处理，且得到了与分段处理后的声谱段对应的音频段，该表情系数序列和音频段被用于处理目标视频，能够有效辅助提升后续视频处理的响应效率。

技术领域

本公开涉及视频处理技术领域，尤其涉及一种视频处理方法、装置、电子设备及存储介质。

背景技术

随着智能终端的软硬件技术的发展，智能终端侧的处理视频的方法越来越流行，比如，采用文本驱动以处理视频(该文本驱动以处理视频，即指根据目标人物的视频和一段音频(该音频由文本合成)，生成与该音频同步的目标人物说话的视频，在处理视频的过程中采用了表情系数序列和由文本合成的音频)。

相关技术中文本驱动以处理视频的方法，表情系数序列的生成质量不高，且视频处理的响应效率较低。

发明内容

本公开提供一种视频处理方法、装置、电子设备、存储介质及计算机程序产品，以至少解决相关技术中文本驱动以处理视频的方法，表情系数序列的生成质量不高，且视频处理的响应效率较低的技术问题。

本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种视频处理方法，包括：获取与待处理文本对应的声谱；对所述声谱进行分段处理，得到多个声谱段；采用表情系数序列生成模型对所述声谱进行预测处理，得到与所述声谱对应的表情系数序列，所述表情系数序列包括：多个表情系数，以及与所述表情系数对应的时长，所述表情系数与所述声谱段相对应；生成与所述声谱段对应的音频段；将所述表情系数序列和多个所述音频段发送至客户端，以触发所述客户端生成目标视频。

在本公开的一些实施例中，所述表情系数序列生成模型的训练方法包括：

获取多个样本声谱，以及与所述样本声谱对应的标注表情系数序列；

将所述多个样本声谱输入至神经网络模型，得到所述神经网络模型输出的预测的样本表情系数序列；

根据所述样本表情系数序列与所述标注表情系数序列之间的差值对所述神经网络模型进行训练，得到所述表情系数序列生成模型。

在本公开的一些实施例中，所述对所述声谱进行分段处理，得到多个声谱段，包括：

确定所述声谱的时间刻度信息，所述时间刻度信息，用于描述所述声谱所携带的声谱特征对应的分布时长；

根据所述时间刻度信息和所述目标视频的预设帧率确定分段时长；

对所述声谱进行分段处理，得到时长为所述分段时长的多个声谱段。

在本公开的一些实施例中，所述根据所述时间刻度信息和所述目标视频的预设帧率确定分段时长的步骤，包括：

确定预设值与所述预设帧率的比值；

确定所述时间刻度信息与所述比值的最小公约数，并将所述最小公约数作为所述分段时长。

在本公开的一些实施例中，在所述生成与所述声谱段对应的音频段后，还包括：

对所述声谱和所述表情系数序列进行对齐处理，得到目标表情系数序列；

将所述目标表情系数序列划分为多个表情系数子序列，所述表情系数子序列中的表情系数覆盖的时长是所述分段时长；