[发明专利]一种编码器的训练方法、装置及存储介质

说明书

本申请公开了一种编码器的训练方法以及相关装置，应用于人工智能的计算机视觉领域。通过获取训练图像；对训练图像进行处理操作不同的样本；进一步的将不同的样本分别输入对应的编码器进行特征提取得到特征向量；然后将特征向量输入目标解码器得到对应的预测信息；进而基于预测信息进行损失函数计算，以对第一编码器进行训练。从而实现兼顾全局信息与局部信息的编码器训练过程，通过编码器进行局部特征的提取，并采用目标解码器中的注意力模块进行全局特征的关联，使得训练后的编码器提的特征向量更加精确度，提高图像识别的准确性。

技术领域

本申请涉及计算机技术领域，尤其涉及一种编码器的训练方法、装置及存储介质。

背景技术

随着人工智能和机器学习技术的快速发展，基于预训练的编码器进行特征提取已经成为常用的图像识别任务的操作流程。

一般，对于编码器的训练过程可以设计“编码器-解码器”(encoder-decoder)的串联结构，以此为基础先将输入图片提取特征到高维空间，再将高维空间的向量通过解码器还原出原图片的样子。通过生成图片和输入图片在像素量级上的对比，便可以间接地进行编码器的学习。

但是，通过生成图片和输入图片在像素量级上进行对比的过程主要关注于局部特征，对于一些复杂的图像处理任务，基于局部特征进行识别可能造成识别对象的丢失，影响图像识别的准确性。

发明内容

有鉴于此，本申请提供一种编码器的训练方法，可以有效提高图像识别的准确性。

本申请第一方面提供一种编码器的训练方法，可以应用于终端设备中包含编码器的训练功能的系统或程序中，具体包括：

获取训练图像；

对该训练图像进行处理操作，以得到第一样本和第二样本，该第一样本和该第二样本采用的处理操作不同；

将该第一样本输入第一编码器进行特征提取得到第一特征向量，并将该第二样本输入第二编码器进行特征提取得到第二特征向量；

将该第一特征向量输入目标解码器得到第一预测信息，并将该第二特征向量输入该目标解码器得到第二预测信息，该目标解码器包含至少两个串行的注意力模块，该注意力模块用于提取该第一特征向量的全局信息和该第二特征向量的全局信息；

将该第一预测信息与该第二预测信息输入目标损失函数，以对该第一编码器进行训练。

可选的，在本申请一些可能的实现方式中，该对该训练图像进行处理操作，以得到第一样本和第二样本，包括：

确定该训练图像的类型；

基于该训练图像的类型获取预设方式集合，该预设方式集合包含至少两个类别的处理方式；

基于不同的该处理方式分别对该训练图像进行处理操作，以得到该第一样本和该第二样本。

可选的，在本申请一些可能的实现方式中，该将该第一特征向量输入目标解码器得到第一预测信息，并将该第二特征向量输入该目标解码器得到第二预测信息，包括：

基于第一映射器将该第一特征向量映射为第一目标向量，并基于第二映射器将该第二特征向量映射为第二目标向量，该第一目标向量的维度数大于该第一特征向量，该第二目标向量的维度数大于该第二特征向量，该第二映射器的映射维度基于该第一映射器传导所得；

将该第一目标向量输入该目标解码器得到该第一预测信息，并将该第二目标向量输入该目标解码器得到该第二预测信息。

可选的，在本申请一些可能的实现方式中，该方法还包括：

获取目标任务在图像识别过程中采用的目标特征维度；