[发明专利]一种图像识别方法、装置、介质和电子设备

说明书

本公开提供了一种图像识别方法、装置、介质和电子设备,所述方法包括：获取待识别图像；对所述图像进行层次分割；对分割后的所述图像进行直线特征的识别，确定潜在的用户界面区域；以及对所述潜在的用户界面区域进行训练识别，从而确定精确的用户界面信息。通过本公开的图像提取技术识别跨平台图片中的用户界面信息，输入终端设备(例如手机)的截屏图像，能够准确的识别图像中的用户界面区域的位置信息，并且通过深度学习训练能够有针对性的得到用户界面区域的类别信息。

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种图像识别的方法、装置、介质和电子设备，具体涉及一种用户界面的识别方法、装置、介质和电子设备。

背景技术

随着移动互联网技术的发展，尤其移动互联网的发展，涉及图像处理和识别越来越智能化，人们越来越习惯于在移动互联网中进行各种操作，用户操作界面(UserInterface，下文简称UI)是用户操作的可视化平台，可以让软件变得有个性有品味，还要让软件的操作变得舒适、简单、自由，充分体现软件的定位和特点。界面设计不是单纯的美术绘画，他需要定位使用者、使用环境、使用方式并且为最终用户而设计，是纯粹的科学性的艺术设计。检验一个界面的标准既不是某个项目开发组领导的意见也不是项目成员投票的结果，而是最终用户的感受。所以界面设计要和用户研究紧密结合，是一个不断为最终用户设计满意视觉效果的过程。

检验一个图形是否是UI设计，通常可针对图形进行特征化识别，在图形中识别出相应的UI区域，而某些UI提取技术存在无法跨平台高效使用的缺点，对于图像识别技术来说无法找到相应的UI区域。

因此，在长期的研发当中，发明人对图形中UI区域的识别技术的研究，提出了一种对图像识别的方法，以解决上述技术问题之一。

发明内容

针对某些图像提取技术存在无法跨平台高效使用的缺点，考虑到终端设备(例如手机)都有其截屏功能，相对来说可以避免出现无法跨平台的情况发生，所以本方案的输入对象采用的是终端设备的截屏图片。为了UI区域位置提取的更准确，本方案从两个方面入手，截屏图片输入以后，要经过两步确定UI区域位置。本发明的目的在于提供一种图像识别的方法、装置、介质和电子设备，能够解决上述提到的至少一个技术问题。

本公开实施例具体提供了一种图像识别的方法，其中包括：

获取待识别图像；

对所述图像进行层次分割；

对分割后的所述图像进行直线特征的识别，确定潜在的用户界面区域；以及

对所述潜在的用户界面区域进行训练识别，从而确定精确的用户界面信息。

进一步的，所述待识别图像为跨平台图像。

进一步的，所述跨平台图像为手机截屏图像或电脑截屏图像。

进一步的，所述对所述图像进行层次分割，采用灰度阈值分割法或高低频图像分割法。

进一步的，所述对分割后的所述图像进行直线特征的识别，确定潜在的用户界面区域，包括：

采用直线段检测分割算法进行识别；

识别出多个直线段形成直线特征的集合；

所述直线特征的集合中的直线特征构成矩形时，则认定该区域为潜在的用户界面区域。

进一步的，所述对所述潜在的用户界面区域进行训练识别，从而确定精确的用户界面信息，包括：

将所述潜在的用户界面区域与训练识别模块中的类别模型进行对比，得到相应类别的对比相似度；

对比相似度大于类别相似度阈值，则确定该区域为精确的用户界面区域。