[发明专利]一种图像识别方法及电子设备

权利要求书

1.一种图像识别方法，其特征在于，所述方法包括：

从图像中提取视觉特征；

对所述图像的至少两种不同类型的文本信息进行编码，得到表征文本信息的语义的编码结果；

基于所述视觉特征和所述编码结果进行解码，得到融合所述视觉特征和所述文本信息以描述所述图像的第二文本信息，所述第二文本信息用于表征所述图像信息和所述文本信息内容。

2.根据权利要求1所述的方法，其特征在于，所述从图像中提取视觉特征，包括：

通过卷积神经网络模型的卷积层和最大值池化层对所述图像交叉进行处理，得到所述图像的降采样结果；

通过所述卷积神经网络模型的平均池化层对所述降采样结果进行处理，得到所述图像的视觉特征。

3.根据权利要求1所述的方法，其特征在于，所述对所述图像的至少两种不同类型的文本信息进行编码，包括：

通过与不同类型的文本信息对应的神经网络模型，将所述图像的至少两种类型的文本信息进行词级别的编码；

将词级别的编码结果进行语句级别的编码。

4.根据权利要求1所述的方法，其特征在于，所述基于所述视觉特征和所述编码结果进行解码，包括：

通过第一解码器模型对所述编码结果进行语句级别的解码；

通过第二解码器模型对所述语句级别的解码结果进行词级别的解码。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

通过注意力模型为所述视觉特征、所述编码结果分配对应的权重，获得第一权重矩阵和第二权重矩阵；

将所述第一权重矩阵、所述第二权重矩阵、编码结果和所述视觉特征输入所述第一解码器模型进行解码。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于图像样本、以及所述图像样本的分类标签，对用于从所述图像中提取视觉特征的卷积神经网络模型进行训练；

基于语句样本以及对应的解码结果训练进行语句级别的解码第一解码器模型；

基于词样本以及对应的解码结果训练进行词级别的解码的第二解码器模型。

7.一种电子设备，其特征在于，所述电子设备包括：

信息获取模块，用于从图像中提取视觉特征；

所述信息获取模块，还用于对所述图像的至少两种不同类型的文本信息进行编码，得到表征文本信息的语义的编码结果；

信息处理模块，用于基于所述视觉特征和所述编码结果进行解码，得到融合所述视觉特征和所述文本信息以描述所述图像的第二文本信息，所述第二文本信息用于表征所述图像信息和所述文本信息内容。

8.一种电子设备，其特征在于，所述电子设备包括：

存储器，用于存储可执行指令；

处理器，用于运行所述存储器存储的可执行指令时，执行权利要求1至6所述的图像识别方法。