[发明专利]多媒体数据处理方法及装置、计算机可读存储介质

权利要求书

1.一种多媒体数据处理方法，所述方法包括：

获取待处理视频对应的每帧图像；

将所述每帧图像输入到训练好的第二模型中，得到每帧图像对应的分割信息；

其中，所述第二模型通过以下方式训练得到：

将初始图像作为样本图像和所述初始图像对应的分割信息输入待训练的FCN模型中，得到第一输出结果；

利用用于所述第二模型的预设的损失函数，确定所述第一输出结果和所述初始图像对应的分割信息之间的差值；将所述差值反馈到FCN的每一层，并根据这个差值对每一层进行调整，以使得所述FCN模型输出的分割信息与所述初始图像对应的分割信息相同，得到训练后的第二模型；其中，所述预设的损失函数用于判断第一输出视频与预设的图像训练信息对应的正常视频是否匹配；

基于所述分割信息，确定所述待处理多媒体数据中每帧图像的待转换信息；其中，所述待转换信息用于指示所述每帧图像中需要转换的区域；

将所述每帧图像的待转换信息转换为目标信息，得到转换后的每帧图像的图像信息；

基于第一模型对所述转换后的每帧图像的图像信息进行处理，得到处理后的视频，以使得所述处理后的视频中，相邻图像帧之间相同位置的像素具有连续性；其中，所述第一模型通过采用所述预设的图像训练信息和所述预设的图像训练信息对应的正常视频训练得到；其中，将空间一致性数据添加至用于所述第一模型的损失函数中，对所述第一模型进行调整；其中，所述损失函数用于评估所述第一模型的预测值与真实值之间的差距；所述预设的正常视频由所述预设的图像训练信息构成；所述正常视频的相邻图像帧之间的像素具有连续性；所述图像训练信息至少包括N帧图像替换后的区域；所述N为大于1的整数。

2.根据权利要求1所述的方法，其特征在于，所述第一模型训练过程，包括：

将所述图像训练信息输入至待训练第一模型中，得到所述第一输出视频；

基于所述第一输出视频和所述图像训练信息对应的正常视频，得到所述第一模型。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一输出视频和所述图像训练信息对应的正常视频，得到所述第一模型，包括：

基于所述图像训练信息，获取所述N帧图像中每帧图像对应的空间一致性数据；其中，所述空间一致性数据用于表征对应图像中像素点的属性信息；

基于所述空间一致性数据、所述第一输出视频和所述图像训练信息对应的正常视频，得到所述第一模型。

4.根据权利要求3所述的方法，其特征在于，所述基于所述空间一致性数据、所述第一输出视频和所述图像训练信息对应的正常视频数据，得到所述第一模型，包括：

基于所述空间一致性数据，判断所述第一输出视频与所述图像训练信息对应的正常视频是否匹配；

若所述第一输出视频与所述图像信息对应的正常视频匹配，得到所述第一模型。