[发明专利]图文识别方法、装置、计算机设备及存储介质

权利要求书

1.图文识别方法，其特征在于，包括：

获取银行领域的待识别图片；

对所述待识别图片进行预处理，以得到潜在文本区域；

对所述潜在文本区域输入至文字识别模型内进行图文识别，以得到第一识别结果；

对所述第一识别结果进行矫正处理，以得到第二识别结果；

输出所述第二识别结果。

2.根据权利要求1所述的图文识别方法，其特征在于，所述对所述待识别图片进行预处理，以得到潜在文本区域，包括：

对所述待处理图片进行图片灰度化处理，以得到第一处理结果；

对所述第一处理结果进行尺寸缩放，以得到第二处理结果；

对所述第二处理结果进行倾斜旋转矫正，以得到第三处理结果；

对所述第三处理结果进行文字区域定位，以得到潜在文本区域。

3.根据权利要求1所述的图文识别方法，其特征在于，所述对所述第三处理结果进行文字区域定位，以得到潜在文本区域，包括：

采用图像滑动窗口在所述第三处理结果上提取多种CNN卷积特征；

对所述特征进行二分类，并筛选出含有文字字符的图像滑动窗口；

采用最大区域连通图轮廓识别算法结合含有文字字符的图像滑动窗口对所述第三处理结果进行轮廓提取，以得到潜在文本区域。

4.根据权利要求1所述的图文识别方法，其特征在于，所述文字识别模型是通过带有文字标签的图片作为样本集训练优化后的CRNN网络，其中，优化后的CRNN网络是训练后的Bert语言模型替换CRNN网络的BLSTM形成的；训练后的Bert语言模型是通过银行领域的语料数据集合作为第一样本集训练Bert语言模型所得的。

5.根据权利要求4所述的图文识别方法，其特征在于，所述训练后的Bert语言模型是通过银行领域的语料数据集合作为第一样本集训练Bert语言模型所得的，包括：

获取银行领域的语料数据集合，并对所述语料数据集合按照特殊标点符号切分成自然分句，以得到第一样本集；

对所述第一样本集进行向量化表征处理，以得到特征化样本集；

构建Bert语言模型；

采用所述特征化样本集对所述Bert语言模型进行训练，以得到训练后的Bert语言模型。

6.根据权利要求1所述的图文识别方法，其特征在于，所述对所述第一识别结果进行矫正处理，以得到第二识别结果，包括：

对所述第一识别结果进行图文表格识别和合并，以得到处理结果；

对所述处理结果进行同一段落的图文段落合并，以得到第二识别结果。

7.根据权利要求6所述的图文识别方法，其特征在于，所述对所述第一识别结果进行图文表格识别和合并，以得到处理结果，包括：

对所述第一识别结果进行特征信息抽取，以得到提取结果；

对所述提取结果按照类型、位置、行列数信息进行CNN特征抽取，以得到抽取结果；

按照全连接方式对抽取结果进行二分类判别，以得到判别结果；

根据所述判别结果进行表格行列合并，以得到处理结果。

8.图文识别装置，其特征在于，包括：

图片获取单元，用于获取银行领域的待识别图片；

预处理单元，用于对所述待识别图片进行预处理，以得到潜在文本区域；

识别单元，用于对所述潜在文本区域输入至文字识别模型内进行图文识别，以得到第一识别结果；

处理单元，用于对所述第一识别结果进行矫正处理，以得到第二识别结果；

输出单元，用于输出所述第二识别结果。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。

10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。