[发明专利]图像处理方法及其装置、存算一体芯片和电子设备

权利要求书

1.一种图像处理方法，其特征在于，包括：

对待处理图像进行分块以获取N个初始图像块，所述N为大于1的整数；

分别对各所述初始图像块进行投影，以分别获取各所述初始图像块对应的M个图像特征向量，所述M为大于1的整数；

根据预设规则将M×N个所述图像特征向量传输至存算阵列，以使所述存算阵列对接收到的所述图像特征向量进行矩阵乘加运算，以获取N个与对应初始图像块一一对应的融合特征向量；

根据N个所述融合特征向量进行重建以生成目标图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述分别对各所述初始图像块进行投影，以分别获取各所述初始图像块对应的M个图像特征向量，包括：

基于三个不同的投影矩阵分别对各所述初始图像块进行投影，以分别获取各所述初始图像块对应的第一特征向量、第二特征向量和第三特征向量；

所述根据预设规则将M×N个所述图像特征向量传输至存算阵列，以使所述存算阵列对多个所述图像特征向量进行矩阵乘加运算，以获取N个与对应初始图像块一一对应的融合特征向量，包括：

将N个所述第一特征向量和N个所述第二特征向量分别传输至所述存算阵列进行矩阵乘加运算，以分别获取各所述初始图像块对应的注意力权重矩阵；

分别将各所述初始图像块对应的所述注意力权重矩阵和所述第三特征向量传输至所述存算阵列进行矩阵乘加运算，以获取N个与对应初始图像块一一对应的融合特征向量。

3.根据权利要求2所述的图像处理方法，其特征在于，所述存算阵列包括至少N个第一存算器件，所述注意力权重矩阵包括N个所述注意力权重值，第i个所述初始图像块对应的融合特征向量的获取方式，包括：

将第i个所述初始图像块的N个注意力权重值分别一一对应存储至N个所述第一存算器件；

分别将N个所述初始图像块的第三特征向量一一对应传输至N个所述第一存算器件；

根据所述存算阵列输出的信号获取第i个所述初始图像块的所述融合特征向量。

4.根据权利要求2所述的图像处理方法，其特征在于，第i个所述初始图像块对应的所述注意力权重矩阵的获取方式，包括：

获取第i个所述初始图像块的第一特征向量分别与各所述初始图像块的第二特征向量的第一点积和，1≤n≤N，且所述n为整数；

对第i个所述初始图像块的N个所述第一点积和进行归一化，并根据归一化后的所述第一点积和获取第i个所述初始图像块的注意力权重矩阵。

5.根据权利要求4所述的图像处理方法，其特征在于，所述存算阵列包括至少m个第二存算器件，所述第一特征向量包括m个第一特征值，所述第二特征向量包括m个第二特征值，所述m≥2，且m为整数，第i个所述初始图像块对应的多个第一点积和的获取方式，包括：

将第i个所述初始图像块的m个第一特征值分别一一对应存储至m个第二存算器件；

分别将各所述初始图像块的m个第二特征向量一一对应传输至m个所述第二存算器件；

根据所述存算阵列输出的信号获取第i个所述初始图像块对应的第一点积和。

6.根据权利要求4所述的图像处理方法，其特征在于，所述对第i个所述初始图像块的N个所述第一点积和进行归一化，包括：

对第i个所述初始图像块的N个所述第一点积和进行最值归一化；

对所述最值归一化后的N个所述第一点积和进行指数函数归一化。

7.根据权利要求1所述的图像处理方法，其特征在于，所述根据多个所述融合特征向量进行重建以生成目标图像，包括：

根据各所述融合特征向量分别生成对应的融合图像块；

通过多层感知机分别对各所述融合图像块进行处理以生成感知图像块；

对多个所述感知图像块进行折叠以获取感知图像；

对所述感知图像进行上采样，以获取所述目标图像。