[发明专利]基于视频拍摄的非侵入式可视化测试脚本自动录制方法

权利要求书

1.基于视频拍摄的非侵入式可视化测试脚本自动录制方法，其特征在于，包括以下步骤：

(1)手工执行一遍测试动作流程，由视频拍摄装置对整个流程进行拍摄，并保存为视频文件；该步骤的具体过程如下：

(101)选取一处平坦的位置作为设备放置区域，将视频拍摄装置置于设备放置区域的上方，视频拍摄装置的视频拍摄端竖直向下，且视频拍摄区域覆盖整个设备放置区域；

(102)打开视频拍摄装置，开启视频拍摄；

(103)执行测试动作，使手指从视频拍摄区域底部移入，以一根手指伸出、其他手指蜷曲且指尖用力的手势对触屏设备上的某一目标进行操作，同时确保伸出的手指与水平面的角度不超过45度以减轻透视的影响，操作完成后将手指按移入时的反方向移出视频拍摄区域之外；

(104)重复步骤(103)，直至完成对触屏设备上所有目标的操作，然后关闭视频拍摄装置，保存视频；

(2)读取视频文件，对于视频中的每一帧图像，采用皮肤检测算法计算帧图像中最长手指的指尖坐标；如果不存在手指，则将指尖坐标记为(0,0)；

(3)根据得到的指尖坐标信息，以一次完整的手指操作为标准，对视频帧进行分组，得到每一次手指操作在视频中所对应的帧序号范围；

(4)对于每一组视频帧，选取该组开始帧的前一帧的图像作为动作前屏幕图像；同时，选取该组指尖坐标中垂直方向值最大的指尖坐标，减去预设的垂直偏移量后，作为触控点坐标；

(5)从动作前屏幕图像中识别出所有控件的位置和大小，再根据触控点位置得到目标控件图像；

(6)脚本生成程序根据识别出的执行动作及其对应的目标控件图像，按照测试脚本的语法规则，生成完整的测试脚本。

2.根据权利要求1所述基于视频拍摄的非侵入式可视化测试脚本自动录制方法，其特征在于，在步骤(2)中，获取帧图像中最长手指的指尖坐标的方法如下：

(201)采用基于颜色范围的皮肤检测算法，将帧图像转化为二值图，其中白色代表手指部分，黑色代表非手指部分；

(202)根据二值图像，使用OpenCV中的轮廓检测方法寻找其中面积最大的轮廓作为手部轮廓，然后得到该手部轮廓中所有点构成的点集；

(203)从轮廓点集中寻找从屏幕底部到屏幕顶部的垂直方向上坐标值最大的点作为代表最长手指指尖位置的点。

3.根据权利要求1所述基于视频拍摄的非侵入式可视化测试脚本自动录制方法，其特征在于，步骤(5)的具体过程如下：

(501)使用Canny边缘识别算法，获得动作前屏幕图像中各个轮廓；

(502)分别针对各个轮廓图执行一次闭运算，实现各个轮廓的更新优化；

(503)分别针对各个轮廓，获得包含轮廓的最小矩形的顶点坐标与面积，构成各个轮廓所对应的矩形；

(504)从步骤(503)中得到各矩形中，选择区域内包含触控点且面积在目标控件设定范围内的最大矩形作为目标控件所对应的矩形，根据该矩形的顶点坐标，对动作前屏幕图像进行裁剪，获得目标控件的图像。