[发明专利]一种屏幕中图标的文本内容的识别方法及设备

说明书

本申请的目的是提供一种屏幕中图标的文本内容的识别方法及设备，本申请通过获取移动终端的屏幕图像，对所述屏幕图像进行特征提取，得到特征图；根据所述特征图确定多个向量，将所述多个向量作为序列输入至预设的神经网络中；将所述预设的神经网络的输出结果传入全连接网络中，得到每一行的矩形框的相关信息；根据所述相关信息选取目标矩形框合并成文本框；将所述文本框输入文字识别模型中进行文本识别。从而避免了因固定的间隔阈值，当相邻图标的标注框发生部分重合或距离过近时造成的识别文字的不准确。

技术领域

本申请涉及设备检测领域，尤其涉及一种屏幕中图标的文本内容的识别方法及设备。

背景技术

目前对设备的检测，如移动终端的检测，尤其是涉及到屏幕上已有应用程序的检测，需要人工点击屏幕或在移动终端中进行查找，以进行检测相关应用程序；而不能通过机械手进行自动识别出屏幕上的应用程序并进行自动检测。另外，对屏幕上已有应用程序进行检测时，需要识别出屏幕上的应用程序，即识别出图标的文本内容，而目前对图像中文字的识别通常是识别相邻文字时的判断距离阈值是固定的，当文字变大时因距离阈值还是固定的，很容易造成误判，识别文字不准确，比如将原本为一个词的识别为是2个字。

发明内容

本申请的一个目的是提供一种屏幕中图标的文本内容的识别方法及设备，解决现有技术中图像识别文本内容时判断相邻文字之间的距离阈值是固定的，造成误判的问题。

根据本申请的一个方面，提供了一种屏幕中图标的文本内容的识别方法，该方法包括：

获取移动终端的屏幕图像，对所述屏幕图像进行特征提取，得到特征图；

根据所述特征图确定多个向量，将所述多个向量作为序列输入至预设的神经网络中；

将所述预设的神经网络的输出结果传入全连接网络中，得到每一行的矩形框的相关信息；

根据所述相关信息选取目标矩形框合并成文本框；

将所述文本框输入文字识别模型中进行文本识别。

进一步地，对所述屏幕图像进行特征提取，得到特征图，包括：

对所述屏幕图像使用深度残差网络进行特征提取，得到通道数为512的特征图。

进一步地，根据所述特征图确定多个向量，包括：

使用滑动窗口扫描所述特征图，将每次扫描得到的特征展开为一个向量，在扫描所述特征图的每一行后得到多个向量。

进一步地，所述相关信息包括特征图的每一行在垂直方向的不同高度的矩形框的数量、坐标信息以及矩形框的文本分数、矩形框的非文本分数。

进一步地，根据所述相关信息选取目标矩形框合并成文本框，包括：

根据每个矩形框的文本分数选取目标矩形框，根据目标矩形框的坐标信息合并成文本框。

进一步地，根据目标矩形框的坐标信息合并成文本框，包括：

根据目标矩形框的坐标信息判断两个目标矩形框之间的水平间隔是否在间隔阈值内，若是，则将该两个目标矩形框进行合并成文本框。

进一步地，所述方法包括：

根据待合并的两个目标矩形框的高度确定每一图标的矩形框的高度；

根据所述每一图标的矩形框的高度确定间隔阈值。

进一步地，将所述文本框输入文字识别模型中进行文本识别之后，包括：

确定目标图标的矩形框内的文本内容的像素坐标；

将所述文本内容的像素坐标转换为所述移动终端的机械坐标系下的物理坐标；