[发明专利]基于视频拍摄的非侵入式可视化测试脚本自动录制方法

说明书

本发明公开了基于视频拍摄的非侵入式可视化测试脚本自动录制方法，步骤为：首先，按指定规范拍摄用户操作视频；其次，从视频中提取每次操作前的屏幕图像以及操作时的触控点位置；然后，根据屏幕图像和触控点位置，获得用户所操作的目标控件的图像；最后，基于控件图像生成测试脚本。本发明运用计算机视觉算法，将视频捕获的人工在触控屏幕上的点击动作自动转化为可视化测试脚本。录制过程主要针对触屏上的点击动作，动作识别完全通过对人工操作视频的智能识别实现，全程无需在目标设备上安装任何软件，无需建立任何有线、无线连接。

技术领域

本发明属于计算机软件开发领域，特别涉及了一种可视化测试脚本自动录制方法。

背景技术

可视化测试脚本是基于计算机视觉技术而产生的一种新型测试脚本，用于实现自动化测试。它可以使用图像代替文字标识、索引号、坐标位置等，以标识被触控的界面控件，从而简化测试脚本中动作流程的描述。

当前针对可视化脚本的录制主要有两种方法：一是完全手动编写测试脚本，测试动作由手工指定，界面控件的图像也由手工拍照或者截图的方式获取，使用该方法产生一个脚本往往需要花费较长的时间，效率低下；二是使用AirTest等可视化脚本录制工具来自动生成测试脚本，但是这类工具往往需要在目标设备上安装专属软件，属于侵入式的方法，无法应用在一些软件安装受限的封闭式设备上。

综上所述，如何提高可视化脚本的录制效率，同时实现非侵入式脚本录制以适应封闭式触屏装备上自动化测试的需要，已经成为本领域亟待解决的问题。

发明内容

为了解决上述背景技术提到的技术问题，本发明提出了基于视频拍摄的非侵入式可视化测试脚本自动录制方法。

为了实现上述技术目的，本发明的技术方案为：

基于视频拍摄的非侵入式可视化测试脚本自动录制方法，包括以下步骤：

(1)手工执行一遍测试动作流程，由视频拍摄装置对整个流程进行拍摄，并保存为视频文件；

(2)读取视频文件，对于视频中的每一帧图像，采用皮肤检测算法计算帧图像中最长手指的指尖坐标；如果不存在手指，则将指尖坐标记为(0,0)；

(3)根据得到的指尖坐标信息，以一次完整的手指操作为标准，对视频帧进行分组，得到每一次手指操作在视频中所对应的帧序号范围；

(4)对于每一组视频帧，选取该组开始帧的前一帧的图像作为动作前屏幕图像；同时，选取该组指尖坐标中垂直方向值最大的指尖坐标，减去预设的垂直偏移量后，作为触控点坐标；

(5)从动作前屏幕图像中识别出所有控件的位置和大小，再根据触控点位置得到目标控件图像；

(6)脚本生成程序根据识别出的执行动作及其对应的目标控件图像，按照测试脚本的语法规则，生成完整的测试脚本。

进一步地，步骤(1)的具体过程如下：

(101)选取一处平坦的位置作为设备放置区域，将视频拍摄装置置于设备放置区域的上方，视频拍摄装置的视频拍摄端竖直向下，且视频拍摄区域覆盖整个设备放置区域；

(102)打开视频拍摄装置，开启视频拍摄；

(103)执行测试动作，使手指从视频拍摄区域底部移入，以一根手指伸出、其他手指蜷曲且指尖用力的手势对触屏设备上的某一目标进行操作，同时确保伸出的手指与水平面的角度不超过45度以减轻透视的影响，操作完成后将手指按移入时的反方向移出视频拍摄区域之外；

(104)重复步骤(103)，直至完成对触屏设备上所有目标的操作，然后关闭视频拍摄装置，保存视频。

进一步地，在步骤(2)中，获取帧图像中最长手指的指尖坐标的方法如下：