[发明专利]一种基于图像识别能力的终端应用自动化测试装置、系统、方法、设备以及存储介质

权利要求书

1.一种基于图像识别能力的终端应用自动化测试装置，其特征在于，所述装置包括：云端测试管理平台、AI云服务平台、测试操作平台和终端设备；

所述云端测试管理平台用于统筹管理整体的测试任务、测试用例和APP知识库，发送给测试操作平台；

所述AI云服务平台用于为测试操作平台提供图像识别和文字识别的能力，发送结果给测试操作平台；

所述测试操作平台用于加载测试任务、测试用例和测试知识库，并根据既定程序反向控制终端设备执行自动化测试任务，并实时监控终端待测试设备内软件的运行过程，请求AI云服务平台获取软件执行过程中界面流转信息和文字提示，通过与APP知识库对比，分析执行结果；

所述终端设备用于运行待测试应用软件，并与测试操作平台建立通讯连接，接收控制指令和传输图像数据。

2.根据权利要求1所述的一种基于图像识别能力的终端应用自动化测试装置，其特征在于，所述云端测试管理平台包括测试用例管理、测试任务管理、测试任务发布、知识库管理、测试结果收集、测试结果分析、通信网关和WEB可视化网站；

所述测试用例管理用于提供测试用例的录入、提供测试用例的管理和数据库存储录入的测试用例；

所述测试任务管理用于提供测试任务的编辑、提供测试任务的管理和数据库存储录入的测试任务；

所述测试任务发布用于根据测试任务的设定参数统筹管理测试任务的执行、停止和中断，并将测试任务推送到测试操作平台；

所述知识库管理用于对待测试软件内的每个UI图进行编号与UI图片进行对应存储、记录控件属性和按照编号记录待测试软件的UI流转关系图；

所述测试结果收集用于收集测试操作平台上报的测试结果，并存储到数据库；

所述测试结果分析用于分析测试结果数据和提供可视化模块，并将测试任务执行结果通过邮件、短信和即时通信软件的手段发送通知；

所述通信网关用于物联网网关，并提供与测试平台设备的上下行通信的能力；

所述WEB可视化网站用于提供各类任务的操作入口和提供可视化web页面展示。

3.根据权利要求1所述的一种基于图像识别能力的终端应用自动化测试装置，其特征在于，所述AI云服务平台包括UI界面识别服务、文字识别服务和通信网关；

所述UI界面识别服务用于UI图片录入、图片指纹计算和图像识别；

所述文字识别服务用于识别待测试软件过程中弹出的消息提示框内的文字提示内容，并判断执行结果；

所述通信网关用于封装UI界面识别服务和文字识别服务，作为接口暴露给测试平台设备。

4.根据权利要求1所述的一种基于图像识别能力的终端应用自动化测试装置，其特征在于，所述测试操作平台包括测试主程序、桌面点击控制程序、调试软件和终端投屏服务；

所述测试主程序用于与测试管理平台建立通信连接、加载测试用例脚本、判断当前UI是否是待执行测试用例的UI界面、根据待执行的控件编号、加载测试字典、测试用例执行、不间断的根据屏幕截图、调用AI云服务平台的UI界面识别接口和测试结果判别，还用于识别到消息弹窗时，调用AI云服务平台的文字识别服务，获取当前的文字提示内容，还用于识别到文本输入框时，根据测试用例输入文本内容继续执行任务；

所述桌面点击控制程序用于根据终端投屏的屏幕坐标进行点击、向输入框输入文本和应用启动和退出功能；

所述调试软件用于提供应用启动杀死、反向控制、文本输入、退出、截屏指令；

所述终端投屏服务用于将获取的终端设备桌面图片按照周期，在操作平台的电脑桌面上就行更新展示，实时展示终端设备内待测试软件的运行状态。

5.一种基于图像识别能力的终端应用自动化测试方法，其特征在于，该方法是采用权利要求1所述的一种基于图像识别能力的终端应用自动化测试装置实现的，包括以下步骤：

步骤S1，测试管理平台网页上进行知识库的构建，在产品设计阶段完成正向设计和知识库构建，数据库或表格形式录入；

步骤S2，测试管理平台网页上进行测试用例、测试任务构建，数据库或表格形式录入；

步骤S3，测试任务执行后，测试结果分析。