[发明专利]一种自动化测试执行过程的监控方法和系统

说明书

技术领域

本发明涉及自动化测试领域，尤其涉及针对数据产品设备进行的自动化测试中的监控方法及系统。

背景技术

在数据设备的产品测试中，手动测试已经难以满足越来越复杂的测试需求，自动化测试方法得到了更多的重视，通过自动化测试的方法批量执行测试用例脚本，可以提高测试效率，减轻测试人员的负担。

自动化测试系统在运行过程中，不需要测试人员干预，可以按照测试人员选择的测试用例按顺序执行，但如果测试过程中某一个脚本出现问题，譬如死循环、或被测设备出现异常等，常常会导致后面的所有测试用例都不能执行或执行失败，只有当全部的测试用例执行完毕后，用户主动去检查时，才能发现问题。在对数据设备的测试中，当被测设备的某一个协议模块出现异常时，继续测试该协议模块是没有意义的，或者当被测设备整体出现异常的话，后面所有的测试用例的执行都是没有意义的，如果不停止测试，并进行相应处理的话，等到所有的测试用例都执行完毕，将会浪费大量的测试时间。因此，如何对自动化测试执行过程中的出现的异常信息及时进行处理，减少由于异常等导致的测试时间浪费，是自动化测试系统在执行过程中需要考虑的一个问题。

当某一次自动化测试执行完成后，在分析测试用例执行结果过程中，自动化测试系统只是提供了一些日志信息。对于针对数据设备进行的协议测试来说，仅靠日志信息，很难分析错误的具体原因，如果能够查看测试用例执行过程中实际的协议交互报文，可以很快的分析出错误的具体原因。

常用自动化测试系统没有提供对测试过程的监控功能，用户很难对测试过程进行灵活的定义和控制，测试系统基本是按照指定的顺序进行执行测试用例，最后仅提供测试日志和结果。

因此，需要一种能够在自动化测试执行过程中进行监控的方法和系统，实时监控测试过程并及时对测试结果及异常情况进行处理，节省测试时间提高测试效率。

发明内容

本发明所要解决的技术问题在于，克服现有自动化测试系统中不能有效的对测试执行过程进行监控控制的问题，提供一种对自动化测试执行过程进行监控的方法和系统。

为解决上述问题，本发明提供一种自动化测试执行过程监控系统，包括测试用例的执行控制模块，该监控系统还包括：

监控控制模块，与所述执行控制模块进行通讯，控制数据收集模块的行为，分析用例执行结果，根据用户定义的过程策略，控制所述执行控制模块调整测试用例执行顺序；

数据收集模块，与所述监控控制模块交互连接，用于收集测试用例执行过程中测试脚本与外部的交互数据，以及测试环境中的网络交互数据，以及测试环境中的异常时间消息；

监控数据库模块，与所述监控控制模块交互连接，用于保存测试用例执行过程中数据收集模块收集到的数据信息；

过程策略配置模块，与所述监控控制模块交互连接，对脚本执行过程中的异常事件规则进行预定义，监控控制模块根据策略定义反馈控制所述执行控制模块及时调整脚本的执行顺序；

用户通知模块，与所述监控控制模块连接，用于接收监控控制模块指示消息，将执行过程中的异常信息通知到具体的测试人员。

其中，所述数据收集模块，收集测试系统中通讯的协议数据包，通过winpcap来抓取特定的协议报文，或者通过winpcap的远程抓包方式来抓取远程网络中的数据包，或者对测试网络中的异常事件进行收集，如收集网络连接状态、设备端口状态。

其中，所述监控数据库模块，在存储监控数据时，采用测试用例名称和用例执行时间的方式来索引某一个监控数据，某一个测试用例的监控数据打包成一个文件进行存储。

其中，所述用户通知模块，通过配置邮件服务器的方法给测试人员发送邮件，将测试执行过程中的各种异常能够及时地通知到测试人员，及时解决存在的问题，保证其它测试用例的继续执行。

所述过程策略配置模块，采用用户提供的执行策略配置文件，控制执行模块根据实际的情况来调整执行流程。

本发明还提供一种基于上述监控系统的对自动化测试执行过程进行监控的方法，包括如下步骤：

(1)测试用例执行控制模块开始执行所选测试套脚本时，向监控控制模块发送测试开始消息，监控模块完成初始化操作；

(2)所述执行控制模块读取一个测试用例后，向监控控制模块发送监控注册消息和待监控事件，在执行该测试脚本的同时，监控控制模块监控数据的收集；

(3)该测试用例执行结束后，执行控制模块向监控控制模块发送撤销监控消息，并发送该测试用例执行结果到监控控制模块；