[发明专利]一种基于AI移动端自动化测试框架的图像处理方法及系统

说明书

本发明涉及一种基于AI移动端自动化测试框架的图像处理方法，包括：将页面切分为多个部分，对每个部分的子元素以及特征进行提取和处理，切割相似度超出阈值的部分对页面进行拆除，生成一张布局图并对多张布局图进行融合；将Mobilenetv2分类模型的标准卷积拆分为深度卷积和逐点卷积，并依次进行模型结构计算、内存高效设置和ImageNet分类；同时输入图像的灰度图、原图和轮廓图进行分类结果预测，将输出的多个结果进行并用互补；输入图片的截图和数据图像布局文件，得到lstm模块并编译成自动化测试脚本。本发明大大降低测试用例的编写成本和维护成本，提升框架的跨平台能力，让测试用例变得更加人性化。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于AI移动端自动化测试框架的图像处理方法及系统。

背景技术

随着Android和IOS两大平台的持续发力，现在市面上的移动端操作系统已被Android和IOS占领，其中Android的份额更是在80％以上。那么面对市面上各种开源的自动化测试框架和工具因为本身的侧重点不痛，多多少少存在跨平台能力差、跨应用能力差、稳定性对ID依赖较大、控件捕获成本高、dump系统视图树几率性的失败等种种问题。

各大开源自动化测试框架及工具面临的问题有：如UIAutomator：仅支持android4.1(API level 16)及以上。不支持脚本记录。支持的重点是Java。你不能获得当前活动或仪表化。目前不支持web视图。库仅支持使用Java，因此很难和使用Ruby的cucumber混合。如想支持BDD框架，建议使用Java自己的BDD框架，例如Jbehave；Appium面临的稳定性问题；Robotium无法实现跨平台、跨应用的App测试；Espresso：相对于Robotium和UIAutomator，它的特点是规模更小、更简洁、API更加精确、编写测试代码简单、容易快速上手，但因为是基于Instrumentation的，所以同样不能实现跨App的应用测试。

因此传统框架存在对系统视图树的依赖强、资源ID和视图类型锁定繁琐、ID混淆维护成本高等问题。

发明内容

本发明的目的在于克服现有技术的缺点，提供了一种基于AI移动端自动化测试框架的图像处理方法及系统，解决了现有技术中存在的问题。

本发明的目的通过以下技术方案来实现：一种基于AI移动端自动化测试框架的图像处理方法，所述自动化测试方法包括：

子元素相似度切割页面步骤：将页面切分为多个部分，对每个部分的子元素以及特征进行提取和处理，切割相似度超出阈值的部分对页面进行拆除，生成一张布局图并对多张布局图进行融合；

分类模型设置步骤：将Mobilenetv2分类模型的标准卷积拆分为深度卷积和逐点卷积，从而降低激活空间的维度，并依次进行模型结构计算、内存高效设置和ImageNet分类；

多结果并用步骤：同时输入图像的灰度图、原图和轮廓图进行分类结果预测，将输出的多个结果进行并用互补；

向量合成步骤：输入图片的截图和数据图像布局的描述文件，通过神经网络得到由多个特征向量集联形成的lstm模块，通过softmax进行特征分类对当前项进行预测，编译成自动化测试脚本。

所述分类模型设置步骤具体包括：

选择第一层为标准卷积和10个残差瓶颈层的Mobilenetv2作为分类模型，通过修改分类选择器将Mobilenetv2分类模型的第一层标准卷积拆分为深度卷积和逐点卷积，根据深度卷积对每个输入通道采用不同的卷积核，从而降低激活空间的维度；

通过宽度因子对Mobilenetv2分类模型的计算量和精度进行平衡，直到manifoldofinterest横跨整个空间；

使用过ReLU6作为非线性激活函数，同时使用3×3的卷积核作为标准卷积核的大小，并在训练期间加入dropout层和BN层；