[发明专利]图像处理方法、装置、设备、存储介质及计算机程序产品

权利要求书

1.一种图像处理方法，其特征在于，包括：

对待处理图像进行视觉特征提取处理，得到所述待处理图像的视觉特征向量；

对所述待处理图像的视觉特征向量进行字符预测处理，得到N个描述字符序列；其中，所述N个描述字符序列中每个描述字符序列包括M个描述字符，所述N个描述字符序列中第一个描述字符序列是根据所述待处理图像的视觉特征向量得到的，所述N个描述字符序列中第t+1个描述字符序列是根据前t个描述字符序列得到的，M、N为大于1的整数，t为小于或等于N的正整数；

根据所述N个描述字符序列生成所述待处理图像的预测描述字符序列。

2.如权利要求1所述的方法，其特征在于，所述对所述待处理图像的视觉特征向量进行字符预测处理，得到N个描述字符序列，包括：

对所述待处理图像的视觉特征向量以及所述待处理图像对应的第一参考描述字符序列进行字符预测处理，得到所述第一个描述字符序列；所述第一参考描述字符序列包括K个开始字符，所述第一个描述字符序列中包括的M个描述字符是并行生成的，K为小于或等于M的正整数；

对所述待处理图像的视觉特征向量、所述第一参考描述字符序列以及所述第一个描述字符序列进行字符预测处理，得到第二个描述字符序列；所述第二个描述字符序列中包括的M个描述字符是并行生成的。

3.如权利要求1所述的方法，其特征在于，所述对待处理图像进行视觉特征提取处理，得到所述待处理图像的视觉特征向量，包括：

通过图像处理模型中的基于区域的快速卷积神经网络，对所述待处理图像进行区域物体特征提取处理，得到所述待处理图像的区域物体特征向量；

通过所述图像处理模型中的编码器，对所述待处理图像的区域物体特征向量进行上下文特征提取处理，得到所述待处理图像的视觉特征向量。

4.如权利要求2所述的方法，其特征在于，所述对所述待处理图像的视觉特征向量以及所述待处理图像对应的第一参考描述字符序列进行字符预测处理，得到所述第一个描述字符序列，包括：

对所述待处理图像的视觉特征向量以及所述第一参考描述字符序列进行特征交互处理，得到所述第一参考描述字符序列对应的预测向量；

对所述第一参考描述字符序列对应的预测向量进行字符概率预测处理，得到M组预测字符的概率；所述M组预测字符的概率中每组预测字符的概率包括：每组预测字符内的各个预测字符对应的概率；

基于所述M组预测字符的概率，从每组预测字符中确定描述字符，得到所述第一个描述字符序列。

5.如权利要求4所述的方法，其特征在于，所述对所述待处理图像的视觉特征向量以及所述第一参考描述字符序列进行特征交互处理，得到所述第一参考描述字符序列对应的预测向量，包括：

通过图像处理模型中的嵌入层，对所述第一参考描述字符序列进行特征嵌入处理，得到所述第一参考描述字符序列对应的嵌入向量；

通过所述图像处理模型中的多头自注意力层，对所述第一参考描述字符序列对应的嵌入向量进行特征掩盖处理，得到所述第一参考描述字符序列对应的掩盖向量；

通过所述图像处理模型中的多头跨域注意力层，对所述待处理图像的视觉特征向量以及所述第一参考描述字符序列对应的掩盖向量进行注意力交互处理，得到所述第一参考描述字符序列对应的交互向量；

通过所述图像处理模型中的前向全连接层，对所述第一参考描述字符序列对应的交互向量进行全连接处理，得到所述第一参考描述字符序列对应的预测向量。

6.如权利要求4所述的方法，其特征在于，所述基于所述M组预测字符的概率，从每组预测字符中确定描述字符，得到所述第一个描述字符序列，包括：

将所述每组预测字符中最大概率所指示的预测字符确定为所述每组预测字符对应的描述字符，得到所述第一个描述字符序列。