[发明专利]图像处理方法和处理设备

权利要求书

1.一种图像处理方法，其特征在于，所述方法包括：

将原图像归一化为中间图像，所述中间图像包括多个局部区块；

计算出所述局部区块的图像特征数据；

根据所述图像特征数据，计算所述中间图像中所述局部区块对应的权重分布数据，所述权重分布数据表征所述局部区块包括部分或全部物体的可能程度；所述计算所述中间图像中所述局部区块对应的权重分布数据，包括：利用注意力模型对所述图像特征数据进行处理，输出与所述中间图像中所述局部区块对应的权重分布数据；所述注意力模型用于确定图像的局部区块与原图像所属物体的类别标签的关联程度；

基于计算得到的所述权重分布数据确定所述原图像中物体的位置区域。

2.如权利要求1所述的方法，其特征在于，所述注意力模型通过使用用户搜索行为数据来训练。

3.如权利要求2所述的方法，其特征在于，所述训练包括：

获取训练数据，所述训练数据包括：搜索文本和基于搜索文本发生的点击行为所涉及的点击图像；

根据所述点击图像的类别标签计算出所述点击图像的文本特征数据，所述类别标签基于点击图像对应的搜索文本得到；

将所述点击图像归一化为训练图像，所述训练图像包括多个局部区块；

提取所述局部区块的局部图像特征数据；

对基于所述文本特征数据和所述局部图像特征数据进行图像文本之间匹配关系的学习训练，直至得到符合预设阈值条件的注意力模型参数。

4.如权利要求3所述的方法，其特征在于，所述图像文本之间匹配关系的模型参数学习训练过程中，使用所述文本特征数据和所述局部图像特征数据内积运算的结果表征所述局部区块与所述类别标签之间的相关度；

以及，基于所述相关度的反向传播训练得到所述注意力模型中指定矩阵参数的取值。

5.如权利要求3所述的方法，其特征在于，所述的文本特征数据包括：将所述类别标签通过词编码处理转换后生成的密集向量。

6.如权利要求1所述的方法，其特征在于，所述的图像特征数据包括：图像区块经过神经网络模型的图像特征抽取后输出的表征所述图像区块中图像特征信息的数据。

7.如权利要求1所述的方法，其特征在于，所述基于计算得到的所述权重分布数据确定所述原图像中物体的位置区域，包括：

根据所述局部区块对应在所述中间图像中的位置得到权重分布数据对应的权重分布图；

利用线性插值算法将所述权重分布图还原成所述原图像大小；

在所述还原后的权重分布图中，选取出大于预设阈值的权重值所对应的第一区域；

基于所述第一区域对应在所述原图像中的第二区域，确定出所述原图像中定位到的物体所在的位置区域。

8.一种处理设备，其特征在于，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现：

将原图像归一化为中间图像，所述中间图像包括多个局部区块；

计算出所述局部区块的图像特征数据；

根据所述图像特征数据，计算所述中间图像中所述局部区块对应的权重分布数据，所述权重分布数据表征所述局部区块包括部分或全部物体的可能程度；所述计算所述中间图像中所述局部区块对应的权重分布数据，包括：利用注意力模型对所述图像特征数据进行处理，输出与所述中间图像中所述局部区块对应的权重分布数据；所述注意力模型用于确定图像的局部区块与原图像所属物体的类别标签的关联程度；

基于计算得到的所述权重分布数据确定所述原图像中物体的位置区域。

9.如权利要求8所述的处理设备，其特征在于，所述处理器中使用的注意力模型通过使用用户搜索行为数据来训练得到。