[发明专利]一种基于神经网络的自动化测试方法

权利要求书

1.一种基于神经网络的自动化测试方法，其特征在于，所述方法包括：

根据提前录制人工测试软件示范的视频，作为深度学习训练语料，获取每次测试时需要打开的软件界面以及软件测试顺序；将录制好的视频放入神经网络中训练，根据打开的界面获取句柄；根据对SeleniumIDE底层源码的改写，使其具备测试软件的基础功能；根据视频获取鼠标需自动点击的位置参数，根据鼠标自动点击的位置，自动输入测试语句；当输入的测试语句获取的信息错误时，搜索后续的测试语句进行测试；当所有测试语句都获取信息错误时，变化自动点击位置，重新输入；当测试过程被意外阻断时，记录已经测试的内容，在下次测试时，自动测试曾经测试成功的内容，恢复到上次的关联测试部分，并继续进行后续的测试；根据视频测试项目标签与测试项目名称对比，对视频分类模型进行优化和更新。

2.根据权利要求1所述的方法，其中，所述根据提前录制人工测试软件示范的视频，作为深度学习训练语料，获取每次测试时需要打开的软件界面以及软件测试顺序，包括：

进行测试前，记录好进行的测试项目名称；同一软件的测试视频，以编号加名称为命名储存至以该软件命名的文件夹中。

3.根据权利要求1所述的方法，其中，所述将录制好的视频放入神经网络中训练，根据打开的界面获取句柄，包括：

视频放入下载训练好的神经网络中，获取每一帧的画面图像，用于后续操作；当测试软件获取信息错误时，根据软件界面句柄，将软件界面回退到变化前的界面，以及用于保存视频元素时的软件操作方式。

4.根据权利要求1所述的方法，其中，所述根据对SeleniumIDE底层源码的改写，使其具备测试软件的基础功能，包括：

通过对SeleniumIDE底层源码改写，实现软件驱动呵呵测试脚本的改写，具备模拟鼠标的移动，鼠标进行单击、双击操作，键盘输入文本的操作。

5.根据权利要求1所述的方法，其中，所述根据视频获取鼠标需自动点击的位置参数，根据鼠标自动点击的位置，自动输入测试语句，包括：

通过将图像颜色空间转换为HSV颜色空间，调整HSV阈值范围为白色，找到鼠标光标位置；根据鼠标光标位置，依次自动模拟测试软件基础功能。

6.根据权利要求1所述的方法，其中，所述当输入的测试语句获取的信息错误时，搜索后续的测试语句进行测试，包括：

根据找到鼠标光标位置，依次进行鼠标单击、双击，键盘输入文本的操作；其中在视频识别文本时，逐个字识别，依次进行操作，直到软件界面与视频画面相似。

7.根据权利要求1所述的方法，其中，所述当所有测试语句都获取信息错误时，变化自动点击位置，重新输入，包括：

当所有测试语句都失效时，判定视频中软件部分按钮与当前测试软件的按钮位置不一致；通过逐一对按钮进行测试语句的操作，直到软件界面与视频画面相似。

8.根据权利要求1所述的方法，其中，所述当测试过程被意外阻断时，记录已经测试的内容，在下次测试时，自动测试曾经测试成功的内容，恢复到上次的关联测试部分，并继续进行后续的测试，包括：

所述记录已经测试的内容包含：鼠标位置，评测方式以及测试语句；通过记录的内容，可以使机器快速操作，恢复到上次的关联测试部分。

9.根据权利要求1所述的方法，其中，所述根据视频测试项目标签与测试项目名称对比，对视频分类模型进行优化和更新，包括：

视频项目标签与测试项目名称对比，通过神经网络，对标签与名称不一致的视频重新进行训练，得到真实匹配的视频分类标签。