[发明专利]一种屏幕中图标的文本内容的识别方法及设备

权利要求书

1.一种屏幕中图标的文本内容的识别方法，其特征在于，所述方法包括：

获取移动终端的屏幕图像，对所述屏幕图像进行特征提取，得到特征图；

根据所述特征图确定多个向量，将所述多个向量作为序列输入至预设的神经网络中；

将所述预设的神经网络的输出结果传入全连接网络中，得到每一行的矩形框的相关信息；

根据所述相关信息选取目标矩形框合并成文本框；

将所述文本框输入文字识别模型中进行文本识别。

2.根据权利要求1所述的方法，其特征在于，对所述屏幕图像进行特征提取，得到特征图，包括：

对所述屏幕图像使用深度残差网络进行特征提取，得到通道数为512的特征图。

3.根据权利要求1所述的方法，其特征在于，根据所述特征图确定多个向量，包括：

使用滑动窗口扫描所述特征图，将每次扫描得到的特征展开为一个向量，在扫描所述特征图的每一行后得到多个向量。

4.根据权利要求1所述的方法，其特征在于，所述相关信息包括特征图的每一行在垂直方向的不同高度的矩形框的数量、坐标信息以及矩形框的文本分数、矩形框的非文本分数。

5.根据权利要求4所述的方法，其特征在于，根据所述相关信息选取目标矩形框合并成文本框，包括：

根据每个矩形框的文本分数选取目标矩形框，根据目标矩形框的坐标信息合并成文本框。

6.根据权利要求5所述的方法，其特征在于，根据目标矩形框的坐标信息合并成文本框，包括：

根据目标矩形框的坐标信息判断两个目标矩形框之间的水平间隔是否在间隔阈值内，若是，则将该两个目标矩形框进行合并成文本框。

7.根据权利要求6所述的方法，其特征在于，所述方法包括：

根据待合并的两个目标矩形框的高度确定每一图标的矩形框的高度；根据所述每一图标的矩形框的高度确定间隔阈值。

8.根据权利要求1所述的方法，其特征在于，将所述文本框输入文字识别模型中进行文本识别之后，包括：

确定目标图标的矩形框内的文本内容的像素坐标；

将所述文本内容的像素坐标转换为所述移动终端的机械坐标系下的物理坐标；

根据所述物理坐标使机械手操作所述目标图标，进行所述目标图标对应的应用程序的检测。

9.根据权利要求1所述的方法，其特征在于，获取移动终端的屏幕图像，包括：

获取由机械手对所述移动终端的操作确定的屏幕图像，其中，对所述移动终端的操作包括自动拍照操作或截屏操作。

10.一种屏幕图标的文本内容的识别的设备，其特征在于，所述设备包括：

一个或多个处理器；以及

存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行如权利要求1至9中任一项所述方法的操作。

11.一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如权利要求1至9中任一项所述的方法。