[发明专利]一种控件识别方法和相关装置

说明书

本申请实施例公开了一种控件识别方法和相关装置，至少涉及人工智能中的计算机视觉技术，包括：根据触发操作中的终端标识获取云产品对应的第一显示界面。在第一显示界面中包括原本进入目标显示界面时需要用户触发的第一控件，获取第一控件模板和对第一控件模板进行分辨率调整得到的至少一张分辨率模板，由于获取的模板的图像分辨率不同，利用其对第一显示界面中的控件区域进行识别时，可以得到基于不同分辨率的模板所确定的更为丰富的控件识别信息，从而针对不同分辨率的第一显示界面均能达到较好的控件识别效果，提高模拟触控第一控件的成功率，降低了获取第一控件所指向第二显示界面的重试次数，并提高了向终端设备返回目标显示界面的效率。

技术领域

本申请涉及数据处理领域，特别是涉及一种控件识别方法和相关装置。

背景技术

随着云技术的发展，各类云产品例如云游戏等应运而生，云产品可以作为应用部署到终端设备中。云产品将大部分甚至绝大部分的数据处理、运算移至云端服务器完成，终端设备主要用于接收用户操作和接收、展示云端服务器的处理结果，针对云产品，终端设备更像是一台云产品的显示媒介，不再需要执行复杂的数据处理，由此用户可以使用原本终端设备不足以运行的各类产品。

为了提升云产品的使用效率，一些场景下需要直接将某些核心使用界面快速的甚至直接展示给使用终端设备的用户，以便用户快速了解或使用云产品。例如在云游戏的场景中，有时需要直接向用户提供开始游戏的界面，无需用户从游戏开始的主界面一步一步点击到开始游戏的界面。

为了实现上述目的，相关技术采用云端服务器模拟用户触发虚拟控件的方式，将终端设备准备打开的云产品的展示界面跳转到需要展示给用户的核心使用界面，以省去用户自己触发界面上的虚拟控件。然而，相关技术中对不同显示界面上的虚拟控件位置识别并不准确，容易导致模拟操作的操作位置未处于应该被触发的虚拟控件的控件区域，增加了重试次数和响应时间。

发明内容

为了解决上述技术问题，本申请提供了一种控件识别方法和相关装置，用于提高显示界面上的虚拟控件位置识别的准确性。

本申请实施例公开了如下技术方案：

一方面，本申请提供一种控件识别方法，所述方法包括：

获取终端设备针对云产品发送的触发操作，所述触发操作包括所述终端设备的终端标识；

根据所述终端标识，获取所述云产品对应所述触发操作的第一显示界面；

获取与所述第一显示界面相关的第一控件模板和至少一张分辨率模板，所述分辨率模板为对所述第一控件模板进行分辨率调整得到的，所述分辨率模板的图像分辨率与所述第一控件模板的图像分辨率不同；

根据所述第一控件模板和所述分辨率模板分别对所述第一显示界面进行控件识别，确定所述第一显示界面中与所述第一控件模板对应的第一控件的控件区域；

通过在所述控件区域模拟触发操作，获取所述第一控件指向的第二显示界面，所述第二显示界面用于确定向所述终端设备返回的目标显示界面。

另一方面，本申请提供一种控件识别装置，所述装置包括：获取单元和识别单元；

所述获取单元，用于获取终端设备针对云产品发送的触发操作，所述触发操作包括所述终端设备的终端标识；根据所述终端标识，获取所述云产品对应所述触发操作的第一显示界面；获取与所述第一显示界面相关的第一控件模板和至少一张分辨率模板，所述分辨率模板为对所述第一控件模板进行分辨率调整得到的，所述分辨率模板的图像分辨率与所述第一控件模板的图像分辨率不同；

所述识别单元，用于根据所述第一控件模板和所述分辨率模板分别对所述第一显示界面进行控件识别，确定所述第一显示界面中与所述第一控件模板对应的第一控件的控件区域；