[发明专利]基于Transformer模型的图像处理方法与装置

权利要求书

1.一种基于Transformer模型的图像处理方法，其特征在于，包括：

获取JPEG图像数据；

对所述JPEG图像数据进行熵解码和反量化处理，得到所述JPEG图像数据对应的频域信息，所述频域信息包括Y分量、U分量和V分量的离散余弦变换DCT系数；

根据所述JPEG图像数据对应的频域信息构建符合Transformer模型输入要求的输入序列，所述Transformer模型基于注意力机制构建；

将所述输入序列输入所述Transformer模型，用于对所述Transformer模型进行训练和/或推理。

2.如权利要求1所述的方法，其特征在于，所述根据所述JPEG图像数据对应的频域信息构建符合Transformer模型输入要求的输入序列，包括：

从所述JPEG图像数据对应的频域信息中获取各个最小编码单元对应的频域信息；

将所述最小编码单元对应的频域信息按照所述Y分量、所述U分量和所述V分量顺序展开形成所述最小编码单元对应的频域特征向量；

根据所述最小编码单元在所述JPEG图像数据中所处的位置生成所述最小编码单元对应的位置特征向量，所述位置特征向量与所述频域特征向量的维数相同；

将所述各个最小编码单元对应的频域特征向量和位置特征向量进行融合，并按照第一预设顺序进行排列，形成符合所述Transformer模型输入要求的输入序列。

3.如权利要求2所述的方法，其特征在于，所述最小编码单元的大小为16×16，所述最小编码单元对应的频域信息包括所述Y分量上4个数据单元的频域信息、所述U分量上1个数据单元的频域信息和所述V分量上1个数据单元的频域信息，所述数据单元的大小为8×8，将所述最小编码单元对应的频域信息按照所述Y分量、所述U分量和所述V分量顺序展开形成所述最小编码单元对应的384维频域特征向量。

4.如权利要求1所述的方法，其特征在于，所述根据所述JPEG图像数据对应的频域信息构建符合Transformer模型输入要求的输入序列，包括：

将相邻的多个所述最小编码单元进行组合形成最大组合单元；

从所述JPEG图像数据对应的频域信息中获取各个所述最大组合单元对应的频域信息；

根据所述最大组合单元包括的各个最小编码单元对应的频域特征向量生成所述最大组合单元对应的频域特征向量，所述最小编码单元对应的频域特征向量是将所述最小编码单元对应的频域信息按照所述Y分量、所述U分量和所述V分量顺序展开形成的；

根据所述最大组合单元在所述JPEG图像数据中所处的位置生成所述最大组合单元对应的位置特征向量，所述位置特征向量与所述频域特征向量的维数相同；

将各个所述最大组合单元对应的频域特征向量和位置特征向量进行融合，并按照第二预设顺序进行排列，形成符合所述Transformer模型输入要求的输入序列。

5.如权利要求4所述的方法，其特征在于，所述最大组合单元所包括的多个所述最小编码单元在所述JPEG图像数据中以正方形分布。

6.如权利要求1所述的方法，其特征在于，所述JPEG图像数据包括JPEG格式的高清图像数据、4K图像数据和8K图像数据。

7.如权利要求1-6任一项所述的方法，其特征在于，所述Transformer模型用于对所述JPEG图像数据进行图像语义分割、目标识别、目标检测、图像分类和目标跟踪中的至少一种。