[发明专利]一种自动化测试的方法和系统

说明书

技术领域

本发明涉及互联网测试领域，特别涉及一种自动化测试的方法和系统。

背景技术

进行自动化测试的一种现有技术为录制回放技术。其中，测试过程分为测试计划、测试设计、测试构建、测试执行、测试结果分析和报告等几个阶段。测试执行和测试报告是属于机械的、多次重复的活动，大概要占测试总工作量的80％左右，应该被自动化完成。测试构建活动也有部分工作可以被自动化，如自动产生脚本框架等。对测试报告活动的自动化，从技术实现上说差别不大，各种测试自动化技术的差别主要体现在对测试构建和测试执行过程的自动化上。测试执行活动又分为输入数据、执行测试、验证测试数据三个部分，其中工作量最大、实现起来最容易的就是输入数据和执行测试过程的自动化，最初采取的方法就是由计算机记录手工操作的过程和数据，再次执行测试时，根据上次记录内容回放即可，就不需要手工输入了，这就是录制/回放技术。后来，为了实现验证测试数据的自动化，在录制过程后，进行了增强工作，可在脚本中加入同步、检查点，并对部分数据进行参数化，实现初步的数据驱动。

绝大部分采用这种技术进行自动化回归测试的组织都失败了，失败的一个共性的原因是因为这种技术虽然初期启动成本低，但是随着测试过程的进行，后期维护成本非常高，使得不可能使用这种技术构建长期的自动测试系统，具体来说，这种技术存在以下问题：

产生自动测试的过程繁琐，效率低：产生可行的自动测试的时间比手工测试长2～10倍；

一切依赖于录制过程中捕获的内容，故只能测试已经工作的功能；

存在录制噪声，产生的脚本是非结构化的，维护工作量巨大；

脚本、数据和验证条件是捆绑在一起的，任何一个修改，就必须重新录制或者修改脚本；

易受待测对象改变的影响，待测对象改变后必须重新录制脚本和验证条件；

如果回放时发生了录制脚本时没有发生的事情，将引起整个测试失败。

因为以上原因，录制-增强-回放技术只用于少量特殊情况，如培训演示、只使用一次的测试脚本，界面和操作不变的测试等，对于长期、大量的自动回归测试来说，这种方法是不可行的。

进行自动化测试的另一种现有技术为脚本技术。因为自动回归测试系统本身也是一个软件系统，其基本工作元素就是测试脚本，测试脚本也是一种软件程序代码，也存在各种程序错误，改进自动回归测试系统的可维护性，就是要改善自动测试脚本的可维护性，既然自动回归测试脚本是软件程序，那么就可以使用软件开发的技术来改进自动回归测试脚本的可维护性，这就是结构化的编程方法，当时还没有出现面向对象的技术。

这种结构化的脚本技术又叫功能分解技术，是一种基于任务的技术，其工作原理是根据被测系统需要完成的任务和功能，对这些功能和任务进行分解，采用结构化编程技术完成实现这些功能的脚本，不同测试中执行重复的任务时，使用同一个脚本，当重复任务发生改变时，也只需要修改一个脚本，对该脚本来说，数据与脚本是分离的，可以把数据作为脚本的参数，也可以把需要的输入数据和验证数据放到指定的文件中，由脚本读取。

这种技术的特点是发展了“结构良好的、有文档的、健壮的、可维护的”测试能力，测试项目成为工程项目，其关键特征是部分测试脚本已经开始具有可复用性。另外，由于测试脚本包括错误捕获和恢复逻辑，比录制回放技术具有更高的可靠性，可以预知可能发生的错误和意外事件，通过编程进行处理，使自动回归测试能顺利进行。

这种技术虽然维护成本比录制回放技术低，但是还存以下问题：

每个功能都需要一个特定的测试脚本，而且大量脚本需要手工编写；

重复使用的脚本(共享脚本)通常只占被测软件很小的一部分，由于脚本技术是一种基于任务的技术，与应用系统的功能是紧密相关的，通常不同的应用系统之间的差异比较大，他们之间可复用的脚本很少；

脚本数量增多，增加了更多的文档，管理难度加大；

大量脚本还是与数据捆绑在一起的，如果数据发生变化，也需要具有编程经验的人员修改脚本，并调试脚本，成本比较高。