[发明专利]图像识别、文字排序方法及设备

权利要求书

1.一种图像识别方法，其特征在于，包括：

从待识别图像中，识别出其中所包含的多个待排序文字信息；

根据所述多个待排序文字信息各自对应的特征，确定所述多个待排序文字信息的阅读顺序；其中，所述特征中携带有语义特征；

按照所述阅读顺序，对所述多个待排序文字信息进行排序，得到待排序文字信息序列。

2.根据权利要求1所述的方法，其特征在于，根据所述多个待排序文字信息各自对应的特征，确定所述多个待排序文字信息的阅读顺序，包括：

确定所述多个待排序文字信息间的邻接关系；

综合所述多个待排序文字信息各自对应的特征以及所述多个待排序文字信息间的邻接关系，确定所述多个待排序文字信息的阅读顺序。

3.根据权利要求2所述的方法，其特征在于，综合所述多个待排序文字信息各自对应的特征以及所述多个待排序文字信息间的邻接关系，确定所述多个待排序文字信息的阅读顺序，包括：

根据所述多个待排序文字信息间的邻接关系，构建具有节点和边的图结构；所述图结构中的节点用来表示待排序文字信息；所述图结构中的边用来表示节点间是否邻接；

将所述多个待排序文字信息各自对应的特征以及所述图结构作为训练好的图卷积神经网络模型的输入，执行所述图卷积神经网络模型，以获得所述多个待排序文字信息的阅读顺序。

4.根据权利要求3所述的方法，其特征在于，所述图卷积神经网络模型，用于：

根据所述多个待排序文字信息各自对应的特征以及所述图结构，通过图卷积操作，得到所述多个待排序文字信息各自对应的更新后特征；

根据所述多个待排序文字信息各自对应的更新后特征，确定所述多个待排序文字信息的阅读顺序。

5.根据权利要求4所述的方法，其特征在于，根据所述多个待排序文字信息各自对应的更新后特征，确定所述多个待排序文字信息的阅读顺序，包括：

综合所述多个待排序文字信息各自对应的更新后特征，计算全局文字信息特征，以作为起始的参考特征；

根据所述参考特征以及所述多个待排序文字信息中尚未输出的至少一个待排序文字信息各自对应的更新后特征，计算所述多个待排序文字信息中尚未输出的至少一个待排序文字信息各自对应的注意力权重；

输出最大注意力权重对应的待排序文字信息，并将所述最大注意力权重对应的待排序文字信息对应的更新后特征作为新的参考特征，继续执行上述注意力权重计算步骤，直至所述多个待排序文字信息全部被输出为止；

将所述多个待排序文字信息的输出顺序，确定为所述多个待排序文字信息的阅读顺序。

6.根据权利要求3至5任一项所述的方法，其特征在于，还包括：

获取样本图像以及所述样本图像中所包含的多个样本文字信息对应的期望文字信息序列；

根据所述多个样本文字信息各自对应的样本特征、所述多个样本文字信息对应的图结构以及所述样本文字信息序列，对所述图卷积神经网络模型进行优化。

7.根据权利要求2至5中任一项所述的方法，其特征在于，确定所述多个待排序文字信息间的邻接关系，包括：

根据所述多个待排序文字信息各自对应的特征，确定所述多个待排序文字信息间的邻接关系。

8.根据权利要求7所述的方法，其特征在于，根据所述多个待排序文字信息各自对应的特征，确定所述多个待排序文字信息间的邻接关系，包括：

根据所述多个待排序文字信息中每两个待排序文字信息对应的特征，计算所述每两个待排序文字信息间的相关性；

根据所述每两个待排序文字信息间的相关性，确定所述每两个待排序文字信息间是否邻接。