[发明专利]图像识别方法装置、设备和存储介质

权利要求书

1.一种图像识别方法，包括：

基于待识别图像的特征图中的特征信息，将键/值的实例特征从所述特征图中切分出，得到多个键实例特征和多个值实例特征，所述待识别图像为文档图像；

将所述多个键实例特征和所述多个值实例特征进行匹配，得到多个实例特征组合；

对所述多个实例特征组合中的每个实例特征组合中的键实例特征和值实例特征进行融合，得到所述每个实例特征组合所对应的融合特征；

基于与所述多个实例特征组合分别对应的多个融合特征，得到所述待识别图像的多个键值识别结果。

2.根据权利要求1所述的方法，其中，所述将所述多个键实例特征和所述多个值实例特征进行匹配，得到多个实例特征组合，包括：

确定所述多个键实例特征中的每个键实例特征和所述多个值实例特征中的每个值实例特征之间的相关性；

基于所述相关性对所述多个键实例特征和所述多个值实例特征进行匹配，得到所述多个实例特征组合。

3.根据权利要求1所述的方法，其中，所述基于与所述多个实例特征组合分别对应的多个融合特征，得到所述待识别图像的多个键值识别结果，包括：

基于与所述多个实例特征组合中的第i个实例特征组合对应的融合特征进行第二分类处理，得到所述第i个实例特征组合的语义类别；i为大于等于1的整数；

基于所述第i个实例特征组合的语义类别，得到所述待识别图像的第i个键值识别结果。

4.根据权利要求3所述的方法，其中，所述基于所述第i个实例特征组合的语义类别，得到所述待识别图像的第i个键值识别结果，包括：

将所述第i个实例特征组合的语义类别以及所述第i个实例特征组合的文本识别结果进行组合，得到所述待识别图像的第i个键值识别结果。

5.根据权利要求4所述的方法，其中，所述文本识别结果的获取方式，包括：

对所述第i个实例特征组合中的值实例特征进行文本识别，得到所述第i个实例特征组合的文本识别结果。

6.一种图像识别装置，包括：

实例特征获取模块，用于基于待识别图像的特征图中的特征信息，将键/值的实例特征从所述特征图中切分出，得到多个键实例特征和多个值实例特征，所述待识别图像为文档图像；

匹配模块，用于将所述多个键实例特征和所述多个值实例特征进行匹配，得到多个实例特征组合；

特征融合模块，用于对所述多个实例特征组合中的每个实例特征组合中的键实例特征和值实例特征进行融合，得到所述每个实例特征组合所对应的融合特征；

识别结果获取模块，用于基于与所述多个实例特征组合分别对应的多个融合特征，得到所述待识别图像的多个键值识别结果。

7.根据权利要求6所述的装置，其中，所述匹配模块包括：

相关性计算单元，用于确定所述多个键实例特征中的每个键实例特征和所述多个值实例特征中的每个值实例特征之间的相关性；

组合获取单元，用于基于所述相关性对所述多个键实例特征和所述多个值实例特征进行匹配，得到所述多个实例特征组合。

8.根据权利要求6所述的装置，其中，所述识别结果获取模块包括：

第二分类单元，用于基于与所述多个实例特征组合中的第i个实例特征组合对应的融合特征进行第二分类处理，得到所述第i个实例特征组合的语义类别；i为大于等于1的整数；

输出单元，用于基于所述第i个实例特征组合的语义类别，得到所述待识别图像的第i个键值识别结果。

9.根据权利要求8所述的装置，其中，所述输出单元用于：

将所述第i个实例特征组合的语义类别以及所述第i个实例特征组合的文本识别结果进行组合，得到所述待识别图像的第i个键值识别结果。

10.根据权利要求9所述的装置，其中，所述文本识别结果的获取方式，包括：

对所述第i个实例特征组合中的值实例特征进行文本识别，得到所述第i个实例特征组合的文本识别结果。