[发明专利]基于计算公式复杂性的大数据测试方法、装置、电子设备

说明书

本申请实施例提出了基于计算公式复杂性的大数据测试方法、装置、电子设备，包括：从数据源处采集对应计算公式的测试数据，对测试数据进行清洗；基于清洗后的测试数据对计算公式进行训练，确定计算公式的参数值，根据已确定的参数值判定计算公式是否有效；当计算公式有效时，将对应参数值的因素参数进行赋值，计算赋值后的复杂判定值；基于复杂判定值与判定阈值的大小关系，判定建立针对计算公式的测试脚本完成大数据覆盖测试，或补充针对计算公式的测试数据场景完成大数据覆盖测试。通过对计算公式复杂性进行判断，能够选取更为适合当前计算公式的测试方式，解决大数据测试场景下因计算公式复杂性不同导致测试时长和准确性无法统一的缺陷。

技术领域

本发明属于数据处理领域，尤其涉及计算公式复杂性验证方法、装置、电子设备。

背景技术

近年来，随着互联网，数据仓库、数据挖掘、云计算等互联网技术的不断发展，大数据技术开始向商业、科技、医疗、政府、教育、经济、交通、物流及社会的各个领域渗透，与之对应的大数据商业应用系统也在不断涌现。

随着大数据技术的广泛应用，针对大数据技术具体应用的计算公式也变得更加复杂。考虑到计算公式的准确性会对大数据应用起到关键影响，因此对计算公式的快速验证已成为亟待解决的问题。

发明内容

为了解决现有技术中存在的缺点和不足，本发明提出了基于计算公式复杂性的大数据测试方法、装置、电子设备，能够对当前大数据测试所使用的计算公式进行复杂性判断，并根据具体的判断结果确定是对测试数据进行修改或是建立针对性的测试脚本，以便缩短测试时间的同时确保测试准确性。

为了达到上述技术目的，根据本公开实施例的第一方面，本实施例提供了一种基于计算公式复杂性的大数据测试方法，所述大数据测试方法包括：

从数据源处采集对应计算公式的测试数据，对测试数据进行清洗；

基于清洗后的测试数据对计算公式进行训练，确定计算公式的参数值，根据已确定的参数值判定计算公式是否有效；

当计算公式有效时，将对应参数值的因素参数进行赋值，计算赋值后的复杂判定值；

基于复杂判定值与判定阈值的大小关系，判定建立针对计算公式的测试脚本完成大数据覆盖测试，或补充针对计算公式的测试数据场景完成大数据覆盖测试。

可选的，所述从数据源处采集对应计算公式的测试数据，对测试数据进行清洗，包括：

针对每个数据源数据存储方式不同，采取对应的访问方式从每个数据源处获取对应计算公式的测试数据；

删除存在格式错误的测试数据。

可选的，所述基于清洗后的测试数据对计算公式进行训练，确定计算公式的参数值，根据已确定的参数值判定计算公式是否有效，包括：

将测试数据划分为训练数据集和预测数据集；

确定对应计算公式的激活函数，将训练数据集中的数据导入激活函数中，计算得到计算公式的参数值，确定计算公式的完整表达式；

计算完整表达式相对于预测数据集的正确率，根据正确率判定计算公式是否有效。

可选的，所述确定对应计算公式的激活函数，将训练数据集中的数据导入激活函数中，计算得到计算公式的参数值，确定计算公式的完整表达式，包括：

将分类数学模型逻辑算法中的log函数作为计算公式的激活函数，如公式一所示；

将训练数据集中的测试数据按对应关系不同划分为至少两组测试数据，每组测试数据包括自变量、因变量两种类型，将自变量数据代入公式一中的X，将同组的因变量数据代入公式一中的P；