[发明专利]基于神经网络的视频编解码中的外部注意力

说明书

一种由视频编解码装置实施的方法包括，将神经网络(NN)滤波器应用于视频单元的未经滤波的样点以生成滤波后的样点。NN滤波器是基于被配置为基于编解码参数输入来获得注意力的NN滤波器模型的。该方法还包括基于所生成的滤波后的样点来执行视频媒体文件与比特流之间的转换。

相关申请的交叉引用

本专利申请要求Lemon有限公司于2021年6月30日提交的标题为“ExternalAttention In Neural Network-Based Coding Tools For Video Coding(用于视频编解码的基于神经网络的编解码工具中的外部注意力)”的美国临时专利申请No.63/216,923的权益，其通过引用并入本文。

技术领域

本公开总体上涉及图像和视频编码与解码。

背景技术

数字视频占据了互联网和其他数字通信网络上的最大带宽使用。随着能够接收和显示视频的连接用户设备的数量增加，预计数字视频使用的带宽需求将继续增长。

发明内容

所公开的各方面/实施例提供了被训练作为编解码工具以提高视频编解码的效率的一个或多个神经网络(NN)滤波器模型。基于NN的编解码工具可以用于替换或增强由视频编码器/解码器(也被称为编解码器)实施的一个或多个模块。例如，可以训练NN模型来提供附加的帧内预测模式、附加的帧间预测模式、变换内核(transform kernel)和/或环路(loop)滤波器。此外，可以通过使用诸如预测、划分、量化参数(QP)等的外部信息来生成或设计NN模型作为注意力机制。

第一方面涉及一种由编解码装置实施的方法。该方法包括将神经网络(NN)滤波器应用于视频单元的未经滤波的样点以生成滤波后的样点，其中，该NN滤波器是基于被配置为基于编解码参数输入而获得注意力(attention)的NN滤波器模型的。该方法还包括基于所生成的滤波后的样点来执行视频媒体文件与比特流之间的转换。

可选地，在任一前述方面中，该方面的另一种实施方式提供了编解码参数输入包括从包括以下各项的组中选择的一个或多个：对于视频单元的分割方案；视频单元的预测模式；与视频单元相关联的量化参数；以及视频单元的边界的边界强度参数。

可选地，在任一前述方面中，该方面的另一种实施方式提供了使用NN滤波器的卷积层从编解码参数输入中提取特征；以及使用所提取的特征作为NN滤波器模型中的注意力。

可选地，在任一前述方面中，该方面的另一种实施方式提供了NN滤波器模型的中间特征图(feature map)将通过注意力重新校准，并且注意力是通过串接编解码参数输入与中间特征图来提供串接结果，并将串接结果馈送到NN滤波器的卷积层中而获得的。

可选地，在任一前述方面中，该方面的另一种实施方式提供了注意力是使用两层卷积神经网络而获得的，并且注意力是单通道特征图，该单通道特征图具有与将通过注意力重新校准的NN滤波器模型的中间特征图的空域分辨率相同的空域分辨率。

可选地，在任一前述方面中，该方面的另一种实施方式提供了使用注意力来重新校准NN滤波器模型的中间特征图，其中NN滤波器模型的中间特征图被给出为G，其中G∈R^N×W×H，其中，N是通道数量，W是通道宽度，并且H是通道高度，并且其中，所获得的注意力被给出为A，其中A∈R^W×H。

可选地，在任一前述方面中，该方面的另一种实施提供了φ表示重新校准后的中间特征图，并且应用注意力包括：根据φ^i，j，k＝G^i，j，k×A^j，k来提供重新校准后的中间特征图，其中1≤i≤N，其中1≤j≤W，并且其中1≤k≤H。