[发明专利]基于语义增强的图像识别模型的训练方法和训练装置

权利要求书

1.一种基于语义增强的图像识别模型的训练方法，包括：

从输入的未标注且无文字描述的第一图像中，提取所述第一图像的第一特征表示；

基于所述第一特征表示，计算第一损失函数；

从输入的未标注且具有原始文字描述的第二图像中，提取所述第二图像的第二特征表示；

基于所述第二特征表示，计算第二损失函数；和

基于所述第一损失函数和所述第二损失函数的融合，训练图像识别模型。

2.根据权利要求1所述的基于语义增强的图像识别模型的训练方法，其中所述第一损失函数和所述第二损失函数的融合包括：以特定权重对所述第一损失函数和所述第二损失函数进行叠加。

3.根据权利要求1所述的基于语义增强的图像识别模型的训练方法，其中提取所述第一图像的第一特征表示包括：

通过图像增强生成所述第一图像的增强图像对；和

从所述增强图像对中分别提取特征表示。

4.根据权利要求3所述的基于语义增强的图像识别模型的训练方法，其中计算第一损失函数包括：

基于从所述增强图像对中提取的特征表示，计算所述第一损失函数。

5.根据权利要求1所述的基于语义增强的图像识别模型的训练方法，其中计算第二损失函数包括：

从所述第二图像的第二特征表示中生成预测文字描述；和

基于所述预测文字描述和所述原始文字描述，计算所述第二损失函数。

6.一种用于图像识别的方法，包括：

获取待识别图像；

基于图像识别模型对所述待识别图像进行识别；

其中所述图像识别模型是基于根据权利要求1至5中任一项所述的基于语义增强的图像识别模型的训练方法得到的。

7.一种基于语义增强的图像识别模型的训练装置，包括：

第一特征提取模块，被配置为从输入的未标注且无文字描述的第一图像中，提取所述第一图像的第一特征表示；

第一计算模块，被配置为基于所述第一特征表示，计算第一损失函数；

第二特征提取模块，被配置为从输入的未标注且具有原始文字描述的第二图像中，提取所述第二图像的第二特征表示；

第二计算模块，被配置为基于所述第二特征表示，计算第二损失函数；和

融合训练模块，被配置为基于所述第一损失函数和所述第二损失函数的融合，训练图像识别模型。

8.根据权利要求7所述的基于语义增强的图像识别模型的训练装置，其中所述融合训练模块还被配置为：

以特定权重对所述第一损失函数和所述第二损失函数进行叠加。

9.根据权利要求7所述的基于语义增强的图像识别模型的训练装置，其中所述第一特征提取模块还被配置为：

通过图像增强生成所述第一图像的增强图像对；和

从所述增强图像对中分别提取特征表示。

10.根据权利要求9所述的基于语义增强的图像识别模型的训练装置，其中所述第一计算模块还被配置为：

基于从所述增强图像对中提取的特征表示，计算所述第一损失函数。

11.根据权利要求7所述的基于语义增强的图像识别模型的训练装置，其中所述第二计算模块还被配置为：

从所述第二图像的第二特征表示中生成预测文字描述；和

基于所述预测文字描述和所述原始文字描述，计算所述第二损失函数。

12.一种用于图像识别的装置，包括：

图像获取模块，被配置为获取待识别图像；

图像识别模块，被配置为基于图像识别模型对所述待识别图像进行识别；

其中所述图像识别模型是基于根据权利要求7至11中任一项所述的基于语义增强的图像识别模型的训练装置得到的。