[发明专利]应用程序的界面获取方法、装置、计算机设备和存储介质

说明书

本申请涉及一种应用程序的界面获取方法、装置、计算机设备和存储介质。所述方法包括：响应于应用程序的启动操作，获取点击命令流文件，点击命令流文件中包含多条点击命令，每条点击命令包含对应的界面元素图片；根据点击命令中包含的界面元素图片，从应用程序的界面中确定与界面元素图片匹配的目标区域；对与目标区域执行点击操作，并响应于点击操作进行界面跳转。采用本方法能够减少了自动化点击的开发难度，提高产品开发效率；通过基于图像匹配技术查找界面元素所在位置，提高了在不同类型的应用程序间使用的兼容性；且避免了界面元素可能不存在而仍旧执行点击的误操作的情形。

技术领域

本申请涉及信息安全技术领域，特别是涉及一种应用程序的界面获取方法、装置、计算机设备和存储介质。

背景技术

随着App(Application，应用程序)市场的繁荣兴盛，大量企业推出了自己的应用程序，促使移动互联网发展壮大。然而市面上的App质量良莠不齐，充斥着很多内容违规App，如涉黄，涉恐，涉政等。目前，可采用App界面图片内容识别的方式检测App是否存在内容违规问题。

传统技术中，App运行时的各界面图片可通过以下方式自动获取：基于App逆向解析得到的界面元素坐标；根据界面元素坐标点进行自动点击完成界面跳转；截图得到各界面图片。但是，仍然存在一些App，如HTML5(HyperText Markup Language 5，超文本5.0)应用，无法通过逆向解析完成自动化点击界面跳转任务。或者，预先针对每个界面配置界面元素的固定坐标点；在进行界面内容测试时，通过根据固定坐标点进行自动化点击操作；截图得到各界面图片。但是，存在一些App在运行时的部分界面元素是随机出现的，无法通过固定坐标点的方式完成自动化点击界面跳转任务。因此，传统技术中的方案无法对任意App进行界面自动化点击完成界面跳转任务，从而无法得到各界面的界面图片。

发明内容

基于此，有必要针对上述技术问题，提供一种能够对任意App进行界面自动化点击完成界面跳转任务的应用程序的界面获取方法、装置、计算机设备和存储介质。

第一方面，本申请实施例公开一种应用程序的界面获取方法，所述方法包括：

响应于应用程序的启动操作，获取点击命令流文件，所述点击命令流文件中包含多条点击命令，每条点击命令包含对应的界面元素图片；

根据所述点击命令中包含的界面元素图片，从所述应用程序的界面中确定与所述界面元素图片匹配的目标区域；

对与所述目标区域执行点击操作，并响应于所述点击操作进行界面跳转。

在其中一个实施例中，所述点击命令流的生成方式，包括：

从所述应用程序的主界面开始，获取从所述主界面中采集的界面元素图片；

根据所述主界面的界面元素图片生成第一个点击命令；

响应于对所述主界面中界面元素的点击操作，展示第二个界面，并以此类推，得到与每个界面对应的点击命令；

按照所述点击命令的生成顺序保存所得到的点击命令，生成所述点击命令流文件。

在其中一个实施例中，所述根据所述点击命令中包含的界面元素图片，从所述应用程序的界面中确定与所述界面元素图片匹配的目标区域，包括：

从所述应用程序的主界面开始，每展示一个新的界面，则根据所述点击命令流文件中点击命令的生成顺序，获取对应的点击命令，直至所述点击命令执行完毕；

根据当前获取的点击命令中包含的当前界面元素图片，从所述应用程序的当前展示界面中确定与所述当前界面元素匹配的目标区域。

在其中一个实施例中，所述根据当前获取的点击命令中包含的当前界面元素图片，从所述应用程序的当前展示界面中确定与所述当前界面元素匹配的目标区域，包括：