[发明专利]一种基于AI移动端自动化测试框架的图像处理方法及系统

权利要求书

1.一种基于AI移动端自动化测试框架的图像处理方法，其特征在于：所述自动化测试方法包括：

子元素相似度切割页面步骤：将页面切分为多个部分，对每个部分的子元素以及特征进行提取和处理，切割相似度超出阈值的部分对页面进行拆除，生成一张布局图并对多张布局图进行融合；

分类模型设置步骤：将Mobilenetv2分类模型的标准卷积拆分为深度卷积和逐点卷积，从而降低激活空间的维度，并依次进行模型结构计算、内存高效设置和ImageNet分类；

多结果并用步骤：同时输入图像的灰度图、原图和轮廓图进行分类结果预测，将输出的多个结果进行并用互补；

向量合成步骤：输入图片的截图和数据图像布局文件，通过神经网络得到由多个特征向量集联形成的lstm模块，通过softmax进行特征分类对当前项进行预测，编译成自动化测试脚本。

2.根据权利要求1所述的一种基于AI移动端自动化测试框架的图像处理方法，其特征在于：所述分类模型设置步骤具体包括：

选择第一层为标准卷积和10个残差瓶颈层的Mobilenetv2作为分类模型，通过修改分类选择器将Mobilenetv2分类模型的第一层标准卷积拆分为深度卷积和逐点卷积，根据深度卷积对每个输入通道采用不同的卷积核，从而降低激活空间的维度；

通过宽度因子对Mobilenetv2分类模型的计算量和精度进行平衡，直到manifoldofinterest横跨整个空间；

使用过ReLU6作为非线性激活函数，同时使用3×3的卷积核作为标准卷积核的大小，并在训练期间加入dropout层和BN层；

通过TensorFlow或者Caffe建立一个直接无环的计算图G，计算图的边表示具体操作，结点表示中间张量的计算；

将衰减率和动量都设置为0.9，在每一层后都是用批量归一化，标准的权重衰减率设置为0.00004，初始学习率0.045，并将学习衰减率设置为0.98，16个GPU异步工作，一个batchsize为96。

3.根据权利要求1所述的一种基于AI移动端自动化测试框架的图像处理方法，其特征在于：所述多结果并用步骤具体包括：

将三通道的彩色图像转换为单通道图像实现图像灰度转化；

将彩色图像分为R、G、B三个单通道图像，并对三个通过进行修改，将修改后的三通道重新合并为彩色图像；

统计最终得到的彩色图像直方图中每个灰度级出现的次数，计算累积归一化直方图和重新计算像素点的像素值。

4.根据权利要求1所述的一种基于AI移动端自动化测试框架的图像处理方法，其特征在于：所述向量合成步骤具体包括：

输入图片的截图以及包含了图像关键视图节点信息的数据图像布局文件；

针对GUI的图像输入，通过一个关键神经网络生成一个cnn向量，将布局文件切割成一项项的序列；

序列每一项都通过ts模块生成一个特征向量，将该特征向量与前面得到的特征向量进行集联形成一个lstm模块，通过softmax进行特征分类，并对当前项进行预测，编译成自动化测试脚本。

5.根据权利要求4所述的一种基于AI移动端自动化测试框架的图像处理方法，其特征在于：所述序列每一项都通过ts模块生成一个特征向量包括：

通过BOVW算法抽取图片SIFT特征，单张图片抽取的SIFT特征图像数据不固定；

遍历每一张SIFT特征图像抽取n个D维特征向量得到一个局部特征集合F，通过学习视觉词典使用聚类算法得到的特征集合进行聚类，得到维度为的视觉词典，并利用视觉词典得到图像的全局特征图；

通过fisher vector算法用似然函数的梯度向量对全局特征图进行描述。

6.根据权利要求5所述的一种基于AI移动端自动化测试框架的图像处理方法，其特征在于：所述通过fisher vector算法用似然函数的梯度向量对全局特征图进行描述包括：

A1、选择GMM中K的大小，用训练图片集中所有的特征来求解GMM得到各个参数，取待编码的一张图像，求得其特征集合；

A2、用GMM的先验残花以及这张图像的特征集合以及这张图像的特征集合按照步骤A1求得其FV。