[发明专利]基于注意力机制的视频卡通化方法、装置、设备及介质

说明书

本申请涉及人工智能技术领域，揭露一种基于注意力机制的视频卡通化方法、装置、设备及介质，其中方法包括获取待处理视频，并将待处理视频输入到编码器中；基于卷积块和反转残差卷积块对待处理视频进行特征提取，得到高层级特征信息；对高层级特征信息进行降维处理，得到低维度特征信息，并获取低维度特征信息对应的通道权重；将高层级特征信息与通道权重进行向量乘积处理，得到注意力特征编码信息；通过解码器对注意力特征编码信息进行解码处理，得到待处理视频对应的目标视频卡通化结果。本申请不同卷积块对待处理视频对进行级特征提取，减少了特征信息在卷积过程中的损失，有利于提高视频转换成卡通图像的效率。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种基于注意力机制的视频卡通化方法、装置、设备及介质。

背景技术

随着短视频用户的不断增加，视频行业迎来前所未有的发展。不同风格的视频大受欢迎，其中卡通滤镜能够将现实视频转换为卡通视频，为用户带来不一样的新体验。

现有视频卡通化处理方式通常是利用生成式对抗网络完成，将真实图像作为输入，生成器网络负责提取图像特征并输出卡通化结果，判别器网络则负责鉴定卡通化结果是否为真实卡通图像。该方案需要将大量的真实图像和卡通图像作为训练数据集，进行对应数据预处理之后，设计相对简单的生成器网络，利用生成器学习真实图像的细节特征，并通过判别器网络和卡通图像进行辨别和监督。然而现有方案需要对大量真实图像和卡通图像进行处理，导致模型计算量过大，导致视频进行卡通化转换的效率较低。现亟需一种能够提高视频卡通化的转换效率。

发明内容

本申请实施例的目的在于提出一种基于注意力机制的视频卡通化方法、装置、设备及介质，以提高视频转换为卡通图像的效率。

为了解决上述技术问题，本申请实施例提供一种基于注意力机制的视频卡通化方法，包括：

获取待处理视频，并将所述待处理视频输入到编码器中，所述编码器包括卷积块和反转残差卷积块；

通过所述卷积块对所述待处理视频进行卷积化处理，以提取所述待处理视频中的低层级特征信息；

通过所述反转残差卷积块对所述低层级特征信息进行深度可分离卷积处理，得到高层级特征信息；

对所述高层级特征信息进行降维处理，得到低维度特征信息，并获取所述低维度特征信息对应的通道权重；

将所述高层级特征信息与所述通道权重进行向量乘积处理，得到注意力特征编码信息；

通过解码器中的反转残差卷积块和卷积块依次对所述注意力特征编码信息进行解码处理，得到所述待处理视频对应的目标视频卡通化结果。

为了解决上述技术问题，本申请实施例提供一种基于注意力机制的视频卡通化装置，包括：

待处理视频获取模块，用于获取待处理视频，并将所述待处理视频输入到编码器中，所述编码器包括卷积块和反转残差卷积块；

低层级特征提取模块，用于通过所述卷积块对所述待处理视频进行卷积化处理，以提取所述待处理视频中的低层级特征信息；

高层级特征提取模块，用于通过所述反转残差卷积块对所述低层级特征信息进行深度可分离卷积处理，得到高层级特征信息；

通道权重获取模块，用于对所述高层级特征信息进行降维处理，得到低维度特征信息，并获取所述低维度特征信息对应的通道权重；

特征编码信息生成模块，用于将所述高层级特征信息与所述通道权重进行向量乘积处理，得到注意力特征编码信息；

卡通化结果生成模块，用于通过解码器中的反转残差卷积块和卷积块依次对所述注意力特征编码信息进行解码处理，得到所述待处理视频对应的目标视频卡通化结果。