[发明专利]一种基于深度图像理解的移动应用跨平台强化学习遍历测试技术

说明书

一种基于深度图像理解的移动应用跨平台强化学习遍历测试技术，包括交互模块，深度图像理解模块，强化学习模块。交互模块通过对apk运行中的状态进行截屏捕获，提供给深度图像理解模块，并通过强化学习模块选择动作执行，从而与移动应用进行交互。深度图像理解模块通过截屏编码器对应用当前界面截图并分析，分别生成状态和可执行动作编码后的特征向量。强化学习模块通过DQN模型分析状态、动作对的优劣，选择最佳可执行动作，实现对移动应用状态空间的高效探索。

技术领域

本发明属于软件测试领域。对提供的移动应用进行自动化遍历测试，在前端通过对截图进行图像理解抽取信息，底层通过深度强化学习方法更新探索策略，生成测试输入，最终达到检测移动应用质量、发现漏洞的目的。

背景技术

随着近年来互联网以及电子设备的快速发展，人们对于互联网的依赖逐步增强。移动应用已经关系到社会生活的方方面面，在互联网快速发展的大背景下，不同平台的移动应用都在迅速更新迭代。但在这样的情况下，移动应用的质量难以得到保障，因此针对移动应用的测试技术成为了当前学术界和工业界的重要热点问题。

而在移动应用的测试方法中，自动遍历测试是自动化测试中常见的测试种类之一，它通过尽可能多地覆盖移动应用的场景达到检测移动应用质量、发现漏洞的目的。目前主流的自动遍历测试包括随机探索策略、基于模型的探索策略。随机探索策略在每个状态下产生随机事件作为当前状态的输入以实现状态转移，虽然目前被广泛应用，但其没有利用探索过程中得到的信息增益，往往产生无效的事件与重复的探索，故无法在有限时间内达到高效的页面覆盖。基于模型的方法利用先验知识构造软件对应的状态转移模型从而生成测试用例，但其对模型的依赖性很高，模型的好坏很大程度上决定了测试的有效性，同时该方法有很强的局限性，不具有好的泛化性能。

与此同时，已有的测试输入生成的技术基本都依赖于平台特性：平台会提供一些接口供测试者获取信息。但由于接口跟平台直接相关，无法在平台之间通用，自动遍历测试的成本因此会有所提升。我们希望能够降低这一不必要的成本提升，提高自动遍历测试技术的平台通用性。目前大多数软件都是通过GUI界面与用户进行交互的，一种主流的自动遍历测试技术也是基于此，将GUI界面内容作为依据进行测试；一种通过移动应用的页面截图进行理解，自动生成众包测试缺陷报告的技术也被提出。同时，在最新的技术中，强化学习初步被应用于借助GUI界面的自动遍历测试技术中。通过与环境不断交互，利用环境对行动的反馈，进行序列行动决策上的优化，实现对状态空间的大范围覆盖。而强化学习策略在软件测试的环境下能够充分发挥其优势，恰当地对行为进行反馈可以不断优化探索决策过程，克服传统自动化测试探索策略覆盖率不足的缺点，实现对页面大范围、全方位的覆盖。在移动应用测试领域，已有一些研究者进行了一些工作，但仍未解决平台通用性的问题。

基于上述工作，本发明深度挖掘了在移动应用的界面图像中蕴含着的丰富直观的信息，充分发挥了强化学习在探索任务上的优势。基于已有的研究成果，将相应的图像处理理解技术以及强化学习方法进行总结，修改，并添加新的技术方法，将其应用于移动应用程序界面图像中的控件识别与图像理解，以及测试过程中的页面探索，从而自动化地生成测试输入。

发明内容

本发明要解决的问题是：移动应用的自动化测试技术无法捕获h5页面嵌入和canvas中的内容，导致测试整体效果欠佳。我们的发明能够通过理解移动应用运行时捕获截屏中包含的信息，对应调整测试的探索策略，解决页面信息捕获的问题。

本发明的技术方案为：一种基于深度图像理解的移动应用跨平台强化学习遍历测试技术，其特征是能够根据用户给定的可执行apk文件生成一份测试报告。该生成方法包含一下三个模块：

1)交互模块：对apk运行中的状态进行截屏捕获，供图像理解模块使用，另外会在apk中执行强化学习模块选择出的动作。本部分采用adb命令行进行交互。