[发明专利]图像处理方法、装置、计算机可读存储介质和计算机设备

权利要求书

1.一种图像处理方法，包括：

获取输入图像、以及与所述输入图像相应的问题文本；

提取所述输入图像的图像特征；

提取所述问题文本的多层次的文本特征，所述多层次的文本特征包括与所述问题文本对应的字序列、词序列和问题文本整句的文本特征；

分别根据所述字序列、所述词序列和所述问题文本整句的文本特征，对所述图像特征进行注意力分配处理，得到第一注意力权值、第二注意力权值和第三注意力权值；

根据所述第一注意力权值、所述第二注意力权值和所述第三注意力权值，结合所述图像特征，获得相应的第一中间图像特征；

将各所述第一中间图像特征融合，获得第二中间图像特征；

根据所述问题文本整句的文本特征，对所述第二中间图像特征进行注意力分配处理，并结合所述第二中间图像特征得到加权图像特征；

依据所述加权图像特征进行分类处理，获得所述问题文本对应的答案文本。

2.根据权利要求1所述的方法，其特征在于，所述提取所述问题文本的多层次的文本特征包括：

获取与所述问题文本相应的字序列；

对所述问题文本进行分词处理，得到与所述问题文本相应的词序列；

分别提取所述字序列、所述词序列和所述问题文本整句的文本特征。

3.根据权利要求1所述的方法，其特征在于，所述根据所述问题文本整句的文本特征，对所述第二中间图像特征进行注意力分配处理，并结合所述第二中间图像特征得到加权图像特征，包括：

按照所述问题文本整句的文本特征，对所述第二中间图像特征进行注意力分配处理，得到第四注意力权值；

根据所述第二中间图像特征和所述第四注意力权值确定加权图像特征。

4.根据权利要求1所述的方法，其特征在于，所述第一注意力权值、第二注意力权值或第三注意力权值中的任一注意力权值的确定步骤包括：

针对所述多层次的文本特征中的任一文本特征，将所针对的文本特征映射成第一标准特征；

将所述图像特征映射成第二标准特征；

对所述第一标准特征和所述第二标准特征进行点乘运算，得到中间特征；

对所述中间特征依次进行池化处理和回归处理，得到注意力权值。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述提取所述输入图像的图像特征包括：

通过卷积神经网络，提取所述输入图像的图像特征；

所述提取所述问题文本的多层次的文本特征包括：

通过循环神经网络，提取所述问题文本的多层次的文本特征；

所述依据所述加权图像特征进行分类处理，获得所述问题文本对应的答案文本包括：

将所述加权图像特征输入至机器学习分类器进行分类处理，得到与所述问题文本对应的答案文本。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过第一模型提取所述输入图像的图像特征；

通过所述第一模型并根据所述图像特征，确定与所述输入图像相应的类别标签文本；

将所述图像特征和相应的类别标签文本进行跨模态融合，得到综合特征；

通过第二模型处理所述综合特征，输出所述输入图像的图像描述文本。

7.根据权利要求6所述的方法，其特征在于，所述通过第一模型提取所述输入图像的图像特征包括：

通过第一模型确定所述输入图像中互不相同的多个候选区域；

通过所述第一模型，分别提取各候选区域的图像特征。

8.根据权利要求7所述的方法，其特征在于，所述通过第二模型处理所述综合特征，输出所述输入图像的图像描述文本包括：

将各候选区域相应的综合特征拼接，获得拼接特征；

通过第二模型处理所述拼接特征，输出所述输入图像的图像描述文本。