[发明专利]一种用于端到端的文字检测与识别的方法和装置

权利要求书

1.一种用于端到端的文字检测与识别的方法，其中，所述方法包括：

将目标图片输入至特征提取网络，获得所述目标图片对应的共享特征信息；

将所述共享特征信息输入至文字检测网络，并获得所述文字检测网络输出的字符检测结果，其中，所述字符检测结果包括字符区域检测结果和字符连接区域检测结果；

将所述共享特征信息和所述字符检测结果输入至文字识别网络，获得所述文字识别网络输出的文字识别结果；

根据所述字符检测结果和所述文字识别结果生成最终识别结果。

2.根据权利要求1所述的方法，其中，所述方法还包括：

根据已标注字符位置的多项样本数据以及每项样本数据对应的标签信息，训练所述文字检测网络，其中，每项样本数据对应的标签信息包括该项样本数据对应的字符区域检测结果以及字符连接区域检测结果。

3.根据权利要求1所述的方法，其中，文字检测网络采用高斯热度图来生成所述字符区域检测结果和所述字符连接区域检测结果。

4.根据权利要求1所述的方法，其中，将所述共享特征信息和所述字符检测结果输入至文字识别网络，获得所述文字识别网络输出的文字识别结果：

将所述共享特征信息输入至所述文字识别网络中的双向长短时记忆网络，获得所述目标图片对应的文字时序信息；

将所述文字时序信息与所述字符检测结果输入至所述文字识别网络中的注意力网络，以使所述注意力网络根据所述字符区域检测结果所指示的至少一个字符区域来预测每个字符区域中的字符内容，并根据所述目标图片对应的字符连接区域检测结果以及所述每个字符区域中的字符内容生成文字识别结果。

5.根据权利要求4所述的方法，其中，所述方法还包括：

判断所述字符区域检测结果所指示的至少一个字符区域是否具备可靠性，若否，将所述文字识别网络中的与所述目标图像对应的中间结果信息发送至所述文字检测网络；

其中，所述根据所述字符检测结果和所述文字识别结果生成最终识别结果，包括：

在所述文字检测网络中根据所述中间结果信息调整所述字符检测结果，获得新的字符检测结果；

根据所述新的字符检测结果以及所述文字识别结果生成最终识别结果。

6.根据权利要求5所述的方法，其中，所述判断所述字符区域检测结果所指示的至少一个字符区域是否具备可靠性，包括：

判断所述至少一个字符区域是否准确，若否，确定所述至少一个字符区域不具备可靠性；若是，判断是否能够依次识别出所述至少一个字符区域中的字符内容，若是，确定所述至少一个字符区域具备可靠性，否则，确定所述至少一个字符区域不具备可靠性。

7.根据权利要求5所述的方法，其中，所述中间结果信息包括双向长短时记忆网络输出的第一数据信息以及所述注意力网络输出的第二数据信息。

8.根据权利要求5所述的方法，其中，所述在所述文字检测网络中根据所述中间结果信息调整所述字符检测结果，获得新的字符检测结果，包括：

在所述文字检测网络中根据所述中间结果信息以及所述共享特征信息调整所述字符检测结果，获得新的字符检测结果。

9.根据权利要求1所述的方法，其中，所述方法还包括：

根据所述字符检测结果、所述文字识别结果和所述最终识别结果优化所述文字检测网络和/或所述文字识别网络。