[发明专利]文字识别的方法、装置、电子设备及计算机可读存储介质

权利要求书

1.一种文字识别的方法，包括：

确定从图像中识别出的每个单字的语义信息和第一位置信息，其中，所述语义信息为用于识别对应的所述单字的含义的信息，所述第一位置信息为用于识别对应的所述单字在所述图像中的所处位置的信息；

根据所述每个单字的语义信息和第一位置信息，构建图网络；

根据所述图网络计算的所述每个单字的特征，确定所述图像的文字识别结果；

其中，所述根据所述每个单字的语义信息和第一位置信息，构建图网络，包括：

根据所述每个单字的第一位置信息，确定由所述每个单字构成的各第一节点之间的边关系；

根据所述各第一节点之间的边关系，构建视觉图网络；

根据所述每个单字的语义信息，确定由所述每个单字构成的各第二节点之间的边关系；

根据所述各第二节点之间的边关系，构建语义图网络；

所述根据所述图网络计算的所述每个单字的特征，确定所述图像的文字识别结果，包括：

根据所述每个单字的第一位置信息，以及所述语义图网络中任一层的输出结果，通过所述视觉图网络计算所述每个单字的第一特征；

根据所述每个单字的语义信息，以及所述视觉图网络中任一层的输出结果，通过所述语义图网络计算所述每个单字的第二特征；

根据所述每个单字的第一特征和第二特征，确定所述图像的文字识别结果。

2.根据权利要求1所述的方法，其中，所述确定从图像中识别出的每个单字的语义信息和第一位置信息，包括：

根据所述图像的卷积特征和所述每个单字的文字类别信息，确定所述每个单字的语义信息；

根据所述图像的卷积特征和所述每个单字的第二位置信息，确定所述每个单字的第一位置信息；

其中，在所述根据所述图像的卷积特征和所述每个单字的第二位置信息，确定所述每个单字的第一位置信息之前，还包括：

利用第二预设神经网络和所述图像的卷积特征，确定所述每个单字的第二位置信息，所述第二位置信息至少包含所述每个单字对应的各特征点的坐标信息和角度信息。

3.根据权利要求2所述的方法，在所述根据所述图像的卷积特征和所述每个单字的文字类别信息，确定所述每个单字的语义信息之前，还包括：

利用第一预设神经网络和所述图像的卷积特征，确定所述每个单字的文字类别信息，所述文字类别信息包括所述每个单字对应的各特征点属于哪类文字的概率。

4.一种文字识别的装置，包括：

第一确定模块，用于确定从图像中识别出的每个单字的语义信息和第一位置信息，其中，所述语义信息为用于识别对应的所述单字的含义的信息，所述第一位置信息为用于识别对应的所述单字在所述图像中的所处位置的信息；

构建模块，用于根据所述每个单字的语义信息和第一位置信息，构建图网络；

第二确定模块，用于根据所述图网络计算的所述每个单字的特征，确定所述图像的文字识别结果；

其中，所述构建模块包括：

第一确定子模块，用于根据所述每个单字的第一位置信息，确定由所述每个单字构成的各第一节点之间的边关系；

第一构建子模块，用于根据所述各第一节点之间的边关系，构建视觉图网络；

第二确定子模块，用于根据所述每个单字的语义信息，确定由所述每个单字构成的各第二节点之间的边关系；

第二构建子模块，用于根据所述各第二节点之间的边关系，构建语义图网络；

所述第二确定模块包括：

第一计算子模块，用于根据所述每个单字的第一位置信息，以及语义图网络中任一层的输出结果，通过视觉图网络计算所述每个单字的第一特征；

第二计算子模块，用于根据所述每个单字的语义信息，以及所述视觉图网络中任一层的输出结果，通过所述语义图网络计算所述每个单字的第二特征；

第三确定子模块，用于根据所述每个单字的第一特征和第二特征，确定所述图像的文字识别结果。