[发明专利]图像文字识别方法、装置、电子设备

权利要求书

1.一种图像文字识别方法，其特征在于，预先训练的编码-解码网络模型包括：至少两个编码模块，以及，和每个所述编码模块对应的解码模块，其中，每个所述编码模块用于从不同特征维度对输入图像进行编码；所述方法包括：

执行所述至少两个编码模块，对输入图像特征编码，分别得到每个所述编码模块的编码输出；

分别执行每个所述解码模块，对相应所述编码模块的所述编码输出进行解码，得到各所述解码模块对所述输入图像的解码输出；

对各所述解码模块对所述输入图像的所述解码输出，进行融合处理，确定所述编码-解码网络模型对所述输入图像的文字识别结果。

2.根据权利要求1所述的方法，其特征在于，所述对各所述解码模块对所述输入图像的所述解码输出，进行融合处理，确定所述编码-解码网络模型对所述输入图像的文字识别结果的步骤，包括：

基于复制生成机制，对各所述解码模块对所述输入图像的所述解码输出进行融合处理，确定所述编码-解码网络模型对所述输入图像的文字识别结果。

3.根据权利要求2所述的方法，其特征在于，所述基于复制生成机制，对各所述解码模块对所述输入图像的所述解码输出进行融合处理，确定所述编码-解码网络模型对所述输入图像的文字识别结果的步骤，包括：

根据第一解码模块的第一隐层输出和第二隐层输出，以及所述第一解码模块对应的所述编码模块的编码输出，计算所述第一解码模块最后一个隐层的编码输出的权重向量；

对至少一个第二解码模块最后一个隐层的解码输出，以及所述第一解码模块最后一个隐层的解码输出，根据所述权重向量进行加权运算，将进行所述加权运算得到的结果作为所述编码-解码网络模型对所述输入图像的文字识别结果；

其中，所述第一解码模块和所述第二解码模块分别表示所述编码-解码网络模型中不同的所述解码模块。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述至少两个编码模块为采用逐次级联或部分级联的结构设置。

5.根据权利要求4所述的方法，其特征在于，所述至少两个编码模块包括：第一编码模块和第二编码模块，所述第一解码模块与所述第一编码模块对应，一个所述第二解码模块与所述第二编码模块对应；

所述第二编码模块用于提取所述输入图像的视觉特征，并输出所述视觉特征的编码向量；所述第一解码模块用于对所述第二编码模块输出的所述视觉特征的所述编码向量，基于注意力机制进行语义特征的编码映射，并输出所述输入图像的语义特征的编码向量。

6.一种图像文字识别装置，其特征在于，预先训练的编码-解码网络模型包括：至少两个编码模块，以及，和每个所述编码模块对应的解码模块，其中，每个所述编码模块用于从不同特征维度对输入图像进行编码；所述装置包括：

编码控制单元，用于执行所述至少两个编码模块，对输入图像特征编码，分别得到每个所述编码模块的编码输出；

解码控制单元，用于分别执行每个所述解码模块，对相应所述编码模块的所述编码输出进行解码，得到各所述解码模块对所述输入图像的解码输出；

融合输出控制单元，用于对各所述解码模块对所述输入图像的所述解码输出，进行融合处理，确定所述编码-解码网络模型对所述输入图像的文字识别结果。

7.根据权利要求6所述的装置，其特征在于，所述融合输出控制单元，进一步用于：

基于复制生成机制，对各所述解码模块对所述输入图像的所述解码输出进行融合处理，确定所述编码-解码网络模型对所述输入图像的文字识别结果。