[发明专利]图像识别方法、装置、存储介质以及终端

权利要求书

1.一种图像识别方法，其特征在于，所述方法包括：

获取屏幕当前显示文档的文档图像；

基于图像识别模型确定所述文档图像对应的至少一个特征层，其中各特征层的尺度不同，所述图像识别模型用于识别文档图像中不同段落的段落类型以及段落位置；

基于所述图像识别模型切取各特征层对应的建议区域，以及根据所述建议区域确定所述文档图像中不同段落对应的段落预测类型以及段落预测位置。

2.根据权利要求1所述的方法，其特征在于，所述基于图像识别模型确定所述文档图像对应的至少一个特征层之前，还包括：

根据所述文档图像的属性信息确定所述文档图像的计算需求量；

根据所述计算需求量确定图像识别模型中所述文档图像对应的骨架网络，基于所述骨架网络缩放所述文档图像。

3.根据权利要求2所述的方法，其特征在于，所述基于图像识别模型确定所述文档图像对应的至少一个特征层，包括：

提取所述文档图像的至少一个尺度特征，按照预设顺序对各尺度特征进行排序；

将排序后的尺度特征依次输入图像识别模型中，以及获取所述图像识别模型针对所述文档图像输出的至少一个特征层。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述基于所述图像识别模型切取各特征层对应的建议区域，包括：

确定所述文档图像对应初始建议区域，以及确定各建议区域的尺度信息；

根据所述初始建议区域所在特征层的层级以及各建议区域的尺度信息，确定各建议区域所在特征层的层级；

在各建议区域所在特征层中按照各建议区域的尺度信息，切取各特征层得到各特征层对应的建议区域。

5.根据权利要求1至3任一项所述的方法，其特征在于，所述根据所述建议区域确定所述文档图像中不同段落对应的段落预测类型以及段落预测位置，包括：

将各建议区域的坐标在所述文档图像的坐标中进行对应；

根据所述建议区域对所述文档图像中的不同段落进行段落类型预测以及段落位置预测，分别得到不同段落对应的段落预测类型以及段落预测位置。

6.根据权利要求1所述的方法，其特征在于，所述根据所述建议区域确定所述文档图像中不同段落对应的段落预测类型以及段落预测位置之后，还包括：

响应针对所述屏幕的触发操作，根据所述段落预测位置确定所述触发操作所触发的目标段落；

根据所述目标段落对应的目标段落预测类型，确定所述目标段落对应的预设识别方案；

基于所述预设识别方案对所述目标段落进行识别，以及展示识别结果。

7.根据权利要求6所述的方法，其特征在于，所述基于所述预设识别方案对所述目标段落进行识别，包括：

若所述目标段落预测类型为文字段落，则确定所述目标段落对应的预设识别方案为文字识别方案；

基于所述文字识别方案对所述目标段落进行文字识别以及翻译。

8.根据权利要求6所述的方法，其特征在于，所述基于所述预设识别方案对所述目标段落进行识别，包括：

若所述目标段落预测类型为图片段落，则确定所述目标段落对应的预设识别方案为图片识别方案；

基于所述图片识别方案对所述目标段落进行图片识别以及图片检索。

9.一种图像识别装置，其特征在于，所述装置包括：

图像获取模块，用于获取屏幕当前显示文档的文档图像；

特征确定模块，用于基于图像识别模型确定所述文档图像对应的至少一个特征层，其中各特征层的尺度不同，所述图像识别模型用于识别文档图像中不同段落的段落类型以及段落位置；

图像预测模块，用于基于所述图像识别模型切取各特征层对应的建议区域，以及根据所述建议区域确定所述文档图像中不同段落对应的段落预测类型以及段落预测位置。