[发明专利]软件测试装置和方法

说明书

本发明提供一种软件测试装置和方法，用于判断具有不可预测性的软件是否进行符合预期的动作。软件测试装置包括：数据转换部，其通过计算机接收测试输入数据，将测试输入数据转换为给与软件的软件输入数据和模型输入数据；软件执行部，其接收软件输入数据，基于软件输入数据执行测试对象的软件，输出执行结果；模型执行部，其接收关于软件的参考模型，基于模型输入数据和参考模型，生成包括执行软件得到的执行结果的允许输出值范围的模型允许输出值范围；差异分析部，其基于软件执行部输出的执行结果和模型执行部生成的模型允许输出值范围，生成差异信息；和判断部，其接收评价基准，基于差异信息和评价基准，进行软件的动作的判断。

技术领域

本发明涉及软件测试装置和方法，特别涉及对与输入数据值对应的输出数据值存在不可预测性的软件进行测试的软件测试装置和方法。

背景技术

因为信息处理装置的性能提高，而要求计算机系统与现实世界紧密连接地工作。处理对象中例如包括以下3个项目：(1)使用大量传感器从现实世界收集数据，(2)经由大量致动器对现实世界产生作用，(3)以大量数据为对象的数据挖掘。这样的系统中，通过多个子系统协作，处理复杂地相互关联的大量数据。设计与现实世界紧密连接地工作的软件的情况下，难以像以往那样由设计者手动地构建复杂地相互关联并且处理大量数据的算法。为了解决该问题，出现了利用使用机器学习生成的判断算法(人工智能)的软件。一般而言，机器学习中的“监督式学习”中，将决定与输入值对应的输出值的学习数据集分为训练数据集和测试数据集，用后者评价使用前者进行学习的结果的精度。

专利文献1中记载的系统提供一种使用机器学习生成判断算法时的高效率的学习方法、和通过学习构建的算法的测试方法。该系统和方法中，将学习数据集分割为训练数据集和测试数据集，使用训练数据集生成判断(也称为“判定”)算法(例如人工神经网络)，并且使用测试数据集评价适应评分。之后，对这些数据集的数据应用遗传算法重组数据集，根据共用的学习数据集生成达到最佳的适应评分的训练数据集和测试数据集。通过采用这样的方式，能够给出将学习数据集最佳地分割的方法，效率良好地进行高精度的学习。

现有技术文献

专利文献

专利文献1：日本特表2006-518062号公报

发明内容

发明要解决的技术问题

如背景技术中所述，对于构建通过多个子系统协作而处理复杂地相互关联的大量数据的系统的软件，不存在掌握其整体动作的设计者，不能明确地预测与输入软件的输入值对应的输出值。这样的软件是具有不可预测性的软件。一般而言，软件的测试是验证对于输入值能够得到设计上设想的输出值的行为，通过测试能够确认软件是否按照设计工作、即软件的可靠性。但是，具有不可预测性的软件不能在设计时决定与输入值对应的输出值，不能进行充分的测试来确认软件是否进行符合预期的动作。

专利文献1的技术，对于通过机器学习生成的判断算法，用从预先给出的数据集中选择的测试数据集进行评价。因此，在使用判断算法的软件的测试中能够使用的输入值和输出值也被限制在给出的数据集的范围内。这样只覆盖了这样的软件中设想的输入值的一部分，作为用于确保软件的可靠性的测试是不充分的。另一方面，因为机器学习的结果依赖于学习，所以难以预测与输入值对应的输出值，在现有技术中不能处理对给出的数据集中不包括的输入值的测试。为了确保以使用通过机器学习生成的判断算法的软件为代表的、在设计时不能决定与输入值对应的输出值的具有不可预测性的软件的可靠性，需要进行基于包括输出值不可预测的输入值的大量的测试数据的测试。

本发明的目的在于提供一种软件测试装置和方法，其判断具有不可预测性的软件是否进行了符合预期的动作。