[发明专利]结合RPA和AI的图像文字的提取方法、装置及电子设备

权利要求书

1.一种结合RPA和AI的图像文字的提取方法，其特征在于，包括：

对待处理图像进行目标检测，以确定所述待处理图像中包含的各个检测框的位置信息及每个所述检测框的类型，其中，所述每个检测框的类型包括：字符、非字符、文本行开头及文本行结尾；

根据每个所述检测框的位置信息及每个所述检测框的类型，将类型为字符的检测框进行合并，以确定所述待处理图像中包含的各文本框；

对每个所述文本框进行文字识别，以确定所述待处理图像中包含的文字。

2.如权利要求1所述的方法，其特征在于，所述对待处理图像进行目标检测，以确定所述待处理图像中包含的各个检测框的位置信息及每个所述检测框的类型，具体包括：

从所述待处理图像中分别提取每个所述检测框的多个维度特征；

对所述多个维度特征进行注意力机制学习，以获取每个所述检测框的相邻框信息及每个所述检测框对应的文本行首尾信息；

根据每个所述检测框的相邻框信息及对应的文本行首尾信息，确定每个所述检测框的类型。

3.如权利要求2所述的方法，其特征在于，在所述从所述待处理图像中分别提取每个所述检测框的多个维度特征之前，还包括：

对所述待处理图像进行预处理，以获取所述待处理图像对应多个特征图；

所述从所述待处理图像中分别提取每个所述检测框的多个维度特征，具体包括：

从所述多个特征图中分别提取每个所述检测框的多个维度特征。

4.如权利要求2所述的方法，其特征在于，所述从所述待处理图像中分别提取每个所述检测框的多个维度特征，具体包括：

利用至少两个过滤器对所述待处理图像进行卷积处理，以获取每个所述检测框的至少两个维度特征，其中，所述至少两个过滤器的感受野不同。

5.如权利要求2所述的方法，其特征在于，在所述对所述多个维度特征进行注意力机制学习，以获取每个所述检测框的相邻框信息及每个所述检测框对应的文本行首尾信息之前，还包括：

将所述多个维度特征进行拼接，以生成每个所述检测框的特征。

6.如权利要求2-5任一所述的方法，其特征在于，在所述对所述多个维度特征进行注意力机制学习，以获取每个所述检测框的相邻框信息及每个所述检测框对应的文本行首尾信息之前，还包括：

对所述多个维度特征进行归一化处理。

7.如权利要求1-5任一所述的方法，其特征在于，每个所述检测框的位置信息，包括每个所述检测框在第一方向的坐标及在第二方向的偏移量，所述根据每个所述检测框的位置信息及每个所述检测框的类型，将类型为字符的检测框进行合并，以确定所述待处理图像中包含的各文本框，具体包括：

如果任一检测框的类型为文本行开头，则根据所述任一检测框在所述第一方向的第一坐标，从所述各个检测框中获取与在第一方向的第二坐标与所述第一坐标匹配的候选检测框；

根据所述任一检测框在第二方向的第一偏移量，从所述候选检测框中获取在所述第二方向上与所述任一检测框相邻的相邻检测框；

如果所述相邻检测框的类型为字符，则将所述相邻检测框与所述任一检测框进行合并。

8.如权利要求1-5任一所述的方法，其特征在于，在所述根据每个所述检测框的位置信息及每个所述检测框的类型，将类型为字符的检测框进行合并，以确定所述待处理图像中包含的各文本框之后，还包括：

对每个所述文本框进行连通域分析，以确定每个所述文本框对应的连通域形状；

如果任一文本框对应的连通域形状为圆形，则确定所述任一文本框内包含红章。