[发明专利]一种基于神经网络的自动化测试方法

说明书

本发明针对软件测试领域中的自动化测试问题，提出了一个基于神经网络的自动化测试方法，通过对已有的测试视频进行分类和光标的目标追踪，可以编写一个能自动进行软件测试的测试软件，并且拥有自我优化功能，实现正确的自动测试功能，当测试过程中发生意外阻断时，也能快速恢复到上次的关联测试部分，进行后续操作。

技术领域

本发明属于神经网络技术领域，具体是涉及到通过CNN+RNN神经网络，实现对视频分类，进行软件自动化测试的设备。

背景技术

在当前的软件测试领域，自动化测试已成为系统测试发展的主流。现在许多国内外的计算机公司都已经开发了属于自己的自动化测试软件用于对产品的自动化测试。然而现在的自动化测试软件，只能针对某类或某几类特殊产品或功能进行自动化测试，如果需要进行其他产品或功能进行测试，就需要程序员对软件进行修改。特别在面对同一套软件系统在不同部门的正确设计测试时，因为不同的部门的编程水平和设计理念不同，对于同一套软件系统的设计也会不一样，这时候如果还是依靠程序员编写测试脚本或者人工测试的方式，效率会非常低下，成本也较高。

视频可以被视为由大量图像按时间顺序排列而成的帧序列。而对于图像的分类，现在主流是采用CNN卷积神经网络进行分类，又因为这些图像是按照时间顺序进行排列，因此可以加入RNN循环神经网络对时间序列的特征提取。采用CNN+RNN的方式，可以对视频进行分类。

发明专利CN201710928075.X软件测试方法、装置、设备和计算机存储介质，公开了一种软件测试方法，软件测试方法包括以下步骤：当检测到软件测试请求时，根据软件测试请求显示软件测试任务单，以供测试人员输入测试信息；根据测试信息确定测试任务，并根据测试任务调用预置测试原子库中的测试原子，并配置形成测试原子集合；当检测到软件测试的执行指令时，根据测试信息中的执行参数调用并执行测试原子集合中的测试原子，以完成软件测试的原子操作。这项发明还公开了一种软件测试装置、设备和计算机存储介质。这项发明旨在利用原子操作降低软件测试的成本，提高软件测试的效率避免人为操作导致的误差。这项发明主要还是依靠人工进行测试，效率低、成本高。

当前在软件测试领域，主要还是依靠针对不同测试项目编写不同的测试脚本或者直接进行人工测试的方式对软件界面和功能进行测试。随着软件功能的增加或是新软件项目的增加，测试工作就会变得非常繁琐和困难。为了避免降低测试人员的工作强度，提高测试效率，设计一种自动化测试方法是非常有必要的。神经网络作为深度学习的核心，在人工智能领域发挥着重要作用。通过构建神经网络模型，可以让计算机完成一些人类才能完成的工作。在软件测试领域，可以从视频分类和目标追踪角度出发，编写测试软件和神经网络模型，让测试软件追踪已有的测试项目的测试视频，自动完成软件的测试。

发明内容

一种基于神经网络的自动化测试方法，其特征在于，所述方法包括：

根据提前录制人工测试软件示范的视频，作为深度学习训练语料，获取每次测试时需要打开的软件界面以及软件测试顺序；将录制好的视频放入神经网络中训练，根据打开的界面获取句柄；根据对SeleniumIDE底层源码的改写，使其具备测试软件的基础功能；根据视频获取鼠标需自动点击的位置参数，根据鼠标自动点击的位置，自动输入测试语句；当输入的测试语句获取的信息错误时，搜索后续的测试语句进行测试；当所有测试语句都获取信息错误时，变化自动点击位置，重新输入；当测试过程被意外阻断时，记录已经测试的内容，在下次测试时，自动测试曾经测试成功的内容，恢复到上次的关联测试部分，并继续进行后续的测试；根据视频测试项目标签与测试项目名称对比，对视频分类模型进行优化和更新。

进一步可选地，其中，所述根据提前录制人工测试软件示范的视频，作为深度学习训练语料，获取每次测试时需要打开的软件界面以及软件测试顺序，包括：

进行测试前，记录好进行的测试项目名称；同一软件的测试视频，以编号加名称为命名储存至以该软件命名的文件夹中。