[发明专利]一种图像识别的方法、图像识别模型的训练方法及装置

权利要求书

1.一种图像识别的方法，其特征在于，包括：

获取待识别图像；

若所述待识别图像包括图片，则根据所述待识别图像获取图像特征向量，其中，所述图像特征向量包括基础特征向量，所述基础特征向量表示所述图片的尺寸信息；

若所述待识别图像包括文本，则根据所述待识别图像获取文本特征向量，其中，所述文本特征向量为根据所述文本的语义特征向量以及所述文本的位置特征向量确定的，所述图像特征向量还包括统计特性向量，所述统计特性向量表示所述文本的字符数量；

根据所述图像特征向量以及所述文本特征向量，获取所述待识别图像所对应的图像识别结果。

2.根据权利要求1所述的方法，其特征在于，所述图像特征向量还包括物体特征向量、场景特征向量、二维码特征向量以及模板特征向量中的至少一项；

所述根据所述待识别图像获取图像特征向量，包括：

基于所述待识别图像，通过物体检测模型获取所述类别特征向量，其中，所述类别特征向量表示所述图片对应的类别概率；

或者，所述根据所述待识别图像获取图像特征向量，包括：

基于所述待识别图像，通过场景识别模型获取所述场景特征向量，其中，所述场景特征向量表示所述图片对应的场景概率；

或者，所述根据所述待识别图像获取图像特征向量，包括：

基于所述待识别图像，通过二维码识别模型获取所述二维码特征向量，其中，所述二维码特征向量表示二维码对应的类别概率以及尺寸信息；

或者，所述根据所述待识别图像获取图像特征向量，包括：

根据所述待识别图像中所述图片的出现次数生成所述模板特征向量。

3.根据权利要求1所述的方法，其特征在于，所述根据所述待识别图像获取文本特征向量，包括：

对所述待识别图像进行光学字符识别OCR，得到所述文本以及所述文本的位置信息，其中，所述文本片段包括P个词语，所述P为大于或等于1的整数；

根据所述文本生成所述语义特征向量，其中，所述语义特征向量包括P个词嵌入向量，所述词嵌入向量与所述词语具有对应关系；

根据所述文本的位置信息生成所述位置特征向量；

根据所述语义特征向量以及所述位置特征向量生成所述文本特征向量。

4.根据权利要求3所述的方法，其特征在于，所述根据所述语义特征向量以及所述位置特征向量生成所述文本特征向量，包括：

基于多头注意力机制，对所述语义特征向量以及所述位置特征向量进行处理，得到所述文本特征向量，其中，所述语义特征向量属于所述多头注意力机制所对应的查询query，所述位置特征向量属于所述多头注意力机制所对应的键key。

5.根据权利要求1所述的方法，其特征在于，所述获取待识别图像之后，所述方法还包括：

若所述待识别图像未满足图片特征提取条件，则根据所述待识别图像获取文本特征向量以及第一特征向量；

所述根据所述图像特征向量以及所述文本特征向量，获取所述待识别图像所对应的图像识别结果，包括：

基于所述第一特征向量以及所述文本特征向量，通过图像识别模型获取所述待识别图像所对应的图像识别结果。

6.根据权利要求1所述的方法，其特征在于，所述获取待识别图像之后，所述方法还包括：

若所述待识别图像未满足文本特征提取条件，则根据所述待识别图像获取图像特征向量以及第二特征向量；

所述根据所述图像特征向量以及所述文本特征向量，获取所述待识别图像所对应的图像识别结果，包括：

基于所述图像特征向量以及所述第二特征向量，通过图像识别模型获取所述待识别图像所对应的图像识别结果。