[发明专利]基于注意力机制的视频卡通化方法、装置、设备及介质

权利要求书

1.一种基于注意力机制的视频卡通化方法，其特征在于，包括：

获取待处理视频，并将所述待处理视频输入到编码器中，所述编码器包括卷积块和反转残差卷积块；

通过所述卷积块对所述待处理视频进行卷积化处理，以提取所述待处理视频中的低层级特征信息，其中，低层级特征信息是指待处理视频中的轮廓、边缘、颜色、纹理和形状；

通过所述反转残差卷积块对所述低层级特征信息进行深度可分离卷积处理，得到高层级特征信息；

对所述高层级特征信息进行降维处理，得到低维度特征信息，并获取所述低维度特征信息对应的通道权重；

将所述高层级特征信息与所述通道权重进行向量乘积处理，得到注意力特征编码信息；

通过解码器中的反转残差卷积块和卷积块依次对所述注意力特征编码信息进行解码处理，得到所述待处理视频对应的目标视频卡通化结果;

其中，所述反转残差卷积块包括三块前后相连的反转残差卷积块，以及所述通过所述反转残差卷积块对所述低层级特征信息进行深度可分离卷积处理，得到高层级特征信息包括：

通过第一块所述反转残差卷积块对所述低层级特征信息进行特征提取，得到一次特征提取结果；

将所述一次特征提取结果与所述低层级特征信息进行相加处理，得到初始结果；

通过第二块所述反转残差卷积块对所述初始结果进行特征提取，得到二次特征提取结果，并将所述二次特征提取结果与所述低层级特征进行相加处理，得到二次处理结果；

通过第三块所述反转残差卷积块对所述二次处理结果进行特征提取，得到三次特征提取结果，并将所述三次特征提取结果作为所述高层级特征信息;

所述通过第一块所述反转残差卷积块对所述低层级特征信息进行特征提取，得到一次特征提取结果包括：

通过第一块所述反转残差卷积块对所述低层级特征信息进行深度可分离卷积处理，得到深层卷积结果；

通过预设的标准化方式，对深层卷积结果进行标准化处理，以及根据线性整流函数对标准化后的深层卷积结果进行激活处理，得到一次卷积结果；

通过对一次卷积结果进行卷积处理和标准化处理，得到所述一次特征提取结果，其中，每一块所述反转残差卷积都经过对输入的特征信息经过深度可分离卷积处理、标准化处理、卷积处理以及激活处理；

其中，所述通过解码器中的反转残差卷积块和卷积块依次对所述注意力特征编码信息进行解码处理，得到所述待处理视频对应的目标视频卡通化结果包括：

通过所述解码器中的三块反转残差卷积块依次对所述注意力特征编码信息进行高层级特征解码，得到高层级特征解码结果；

通过所述解码器中的两块所述卷积块依次对所述注意力特征编码信息进行低层级特征解码，得到低层级特征解码结果，并将所述低层级特征解码结果和所述高层级特征解码结果作为所述目标视频卡通化结果。

2.根据权利要求1所述的基于注意力机制的视频卡通化方法，其特征在于，所述卷积块包括两块前后相连的卷积块，以及所述通过所述卷积块对所述待处理视频进行卷积化处理，以提取所述待处理视频中的低层级特征信息包括：

通过所述卷积块对所述待处理视频进行卷积处理，得到卷积结果；

通过预设的标准化方式，对卷积结果进行标准化处理，得到标准化卷积结果；

根据线性整流函数对所述标准化卷积结果进行激活处理，得到所述低层级特征信息。

3.根据权利要求1所述的基于注意力机制的视频卡通化方法，其特征在于，所述对所述高层级特征信息进行降维处理，得到低维度特征信息，并获取所述低维度特征信息对应的通道权重包括：

通过平均池化和最大池化的方式，分别对所述高层级特征信息进行池化处理，得到平均池化结果和最大池化结果；

基于注意力机制，获取全连接层对所述平均池化结果和所述最大池化结果对应通道权重，得到所述平均池化结果对应通道权重以及所述最大池化结果对应通道权重。