[发明专利]基于聚类分析的测试程序分类方法

说明书

本发明公开了一种基于聚类分析的测试程序分类方法，包括以下步骤：在多个处理器上批量运行测试程序，在一次运行过程中获取所有维度的计数；根据性能计数信息，对高维度性能计数数据进行降维处理，将计数数据转换为机器学习算法能够处理的向量数据；将降维处理之后的有效性能计数数据作为课题特征的特征数据作为机器学习算法的输入，利用K_means算法对其进行计算并分类；将K_means算法得到的误差作为神经网络中的交叉熵的损失函数，通过卷积神经网络模型对整个分类结果评估优化，输出优化后的结果。本发明实现了对测试程序进行客观分类的目的，对测试向量的精简与测试覆盖的质量具有客观指导意义。且该方法不需要依赖特定的硬件，运行条件简单，实用性高。

技术领域

本发明属于数据分析技术领域，尤其涉及一种基于聚类分析的测试程序分类方法。

背景技术

目前CPU功能测试所使用的测试用例来源很多，有实际应用课题的移植改造，有从指令功能模板框架中批量生成而来，有针对处理器弱项编写的专项测试程序，同时还有是从上一代处理器研制验证过程中继承过来的课题等等。这些课题的分类很多都是编写改造人员根据对课题的认识进行分类，现有分类方法具有主观片面性，不能真实的反映课题实际的功能特性。这对测试后的统计工作以及测试结果的管理都会造成很大的影响。随着测试规模的增大，测试覆盖面的拓广，测试用例必将急剧增加，测试人员在区分测试点上以及测试结果管理方面需要花费大量的时间和精力。

随着测试程序数目的增加以及测试验证的CPU范围的扩大，如何实现对测试课题进行客观的特征分析与分类，成为本领域技术人员努力的方向。

发明内容

本发明目的在于提供一种基于聚类分析的测试程序分类方法。该方法利用机器学习相关算法结合数据分析技术，将测试程序自动化进行分类，精简测试用例，解放测试人员的工作量，进而提高测试人员的工作效率。

为达到上述目的，本发明采用的技术方案是：一种基于聚类分析的测试程序分类方法，包括以下步骤：

S1、在多个处理器上批量运行测试程序，每个处理器上配置各不相同，采用在不同处理器上获取不同的性能计数事件数据的策略，在对性能计数事件数据进行收集的过程中，通过增加处理器资源和运行遍数的方式增加冗余开销，以生成冗余数据，用于校验并生成后续误差，以保证同一道课题至少有一次以上的数据是完整有效的，从而在测试程序一次运行过程中获取所有维度的性能计数事件数据，并行化采集测试程序的各项性能计数事件数据，并将采集到的性能计数事件数据以字符串的形式存储在文本中；

S2、根据S1中获取的性能计数事件数据，对高维度性能计数事件数据进行降维处理，基于性能计数事件相互之间的关联，分析不同特征关联的性能计数事件数据，去除其中无效数据和冗余数据，将原本存储在文本中字符串形式的性能计数事件数据通过python工具的numpy.loadtxt函数接口转换为机器学习算法能够处理的向量数据；

S3、将S2中得到降维处理之后的有效性能计数事件数据，作为课题特征的特征数据，并作为机器学习算法的输入，建立K_means算法模型，根据所需获取的典型课题特征种类，根据典型课题数目确定分类总数K，并选取各个课题在S2中对应的性能计数事件数据作为初始质心，利用建立的K_means算法模型对S2中的结果向量数据进行计算并分类，分类结果值为K-Means的分类编号0，1，…，K-1；

S4、利用S1中增加的冗余开销所生成的冗余数据，判断同一课题在不同核心的性能计数事件数据是否在同一分类中判别K_means得到的分类是否正确，以此分类出错的比例得到误差率；

S5、将S4中形成的误差率作为卷积神经网络模型中的交叉熵的损失函数输入，通过卷积神经网络模型评估S3中获得的分类结果，以S4中得到的误差率是否小于0.1%来判断是否满足模型评估要求；如果是，则以本次迭代运算的分类结果作为程序分类最终结果输出，程序结束；否则，表明程序分类结果还不精确，则利用卷积神经网络模型中自带的反馈的方式，减少本应属于同一类分类的权重值，修正K_means计算过程中计算距离的权重值，重复S3。