[发明专利]一种基于深度图像理解的移动应用跨平台强化学习遍历测试技术

权利要求书

1.一种基于深度图像理解的移动应用跨平台强化学习遍历测试技术，其特征在于根据用户提供的指定apk生成一份测试报告，报告包含了在对该apk文件的测试中发现的异常问题。

该方法的步骤如下：

1)用户上传一个移动端的可执行文件(如apk文件)

2)该方法对用户所上传的文件进行测试，主要包含：

2.1)交互模块，利用调试工具和调试平台对测试过程中强化学习模块挑选的交互动作进行执行，并捕获执行后的截屏，交由图像理解模块处理。

2.2)图像理解模块，对测试过程中捕获的截屏页面进行理解，识别并生成该页面下的控件树，分别依赖两种不同的神经网络对状态特征向量和动作特征向量进行提取，作为强化学习模块的状态空间和动作空间。

2.3)强化学习模块，将图像理解模块提取的两种特征向量与作为强化学习模块的状态空间与动作空间，将其输入神经网络，由神经网络选择下一交互动作，根据ε-greedy策略执行交互动作，收集探索过程中检测到的异常问题并生成对应测试报告。另外存储了每次状态转移及其在奖励函数下的奖励值，作为用于经验回放的数据。

3)将生成的测试报告呈现给用户

2.根据权利要求1所述的基于深度图像理解的移动应用跨平台强化学习遍历测试技术，其特征在于：在图像理解模块，特征提取部分采用Canny边缘检测，OCR技术，CNN分类算法，LSTM循环神经网络得到控件树、状态特征向量和动作特征向量。

3.根据权利要求1所述的基于深度图像理解的移动应用跨平台强化学习遍历测试技术，其特征在于：在强化学习模块，利用Deep Q-Network拟合Q函数并选择交互动作，根据ε-greedy策略执行交互动作，利用经验回放和基于好奇心驱动的奖励函数在测试过程中对Deep Q-Network进行实时更新。