[发明专利]一种适用于超算中心的大数据处理能力评估方法

权利要求书

1.一种适用于超算中心的大数据处理能力评估方法，其特征在于，包括：

采集超算中心相关数据并进行预处理，将预处理后的数据分为训练集和测试集；

归一化处理所述训练集和测试集；

构建综合评估模型，利用归一化后的训练集和测试集对所述综合评估模型进行训练，得到优化后的综合评估模型；

利用所述优化后的综合评估模型对模拟仿真的自然灾害进行计算预测，根据计算预测结果评估所述超算中心的大数据处理能力。

2.如权利要求1所述的适用于超算中心的大数据处理能力评估方法，其特征在于：所述超算中心相关数据包括，

超算中心环境数据：利用红外热成像仪及温湿度监测器采集超算中心的温湿度数据；

需要超算中心进行处理的数据包括新能源、新材料、自然灾害、气象预报、地质勘探、工业仿真模拟、新药开发、动漫制作、基因排序、城市规划相关数据。

3.如权利要求1或2所述的适用于超算中心的大数据处理能力评估方法，其特征在于：所述预处理过程包括，

将红外热成像仪采集的图片信息转变为数字信号；

数据清洗：空缺值清洗、格式内容清洗、逻辑错误清洗、非需求数据清洗；

数据变换：对数据进行特征构造、数据分级及数据量化；

数据集成：对数据变换后的数据进行数据统计，将数据合并到统一的数据存储中；

采用基于聚类的离群样本检测策略对数据样本中仍可能出现异常的样本进行检测剔除。

4.如权利要求3所述的适用于超算中心的大数据处理能力评估方法，其特征在于：根据所述预处理后的数据按照8:2的比例进行训练集和测试集的划分。

5.如权利要求4所述的适用于超算中心的大数据处理能力评估方法，其特征在于：归一化处理所述训练集和测试集包括，

利用归一化公式进行归一化处理，所述归一化公式为：

所述归一化处理得到的数据集包括：

其中，Z表示数据集，μ表示训练集，表示测试集。

6.如权利要求1所述的适用于超算中心的大数据处理能力评估方法，其特征在于：所述综合评估模型包括输入层、隐藏层和输出层。

7.如权利要求6所述的适用于超算中心的大数据处理能力评估方法，其特征在于：所述输入层、隐藏层和输出层包括，

所述输入层：i

所述隐藏层：

所述输出层：

其中，i表示输入的数据集，n表示节点数，θ_ij表示输入层节点与隐藏层节点的权值定义，X_i表示数据集所在的节点阈值，表示节点阈值，j表示常数，f(z)表示输出函数，F表示影响因子。

8.如权利要求6所述的适用于超算中心的大数据处理能力评估方法，其特征在于：所述综合评估模型的损失函数包括，

其中，L表示损失函数，f表示迭代次数，a表示常数，表示评估时间，S_n(y)表示评估函数，其皆为标量。

9.如权利要求4～8任一所述的适用于超算中心的大数据处理能力评估方法，其特征在于：利用归一化后的训练集和测试集对所述综合评估模型进行训练，其训练完成的判断标准包括，

当L∈(0,0.135]时，所述综合评估模型训练完成。

10.如权利要求1所述的适用于超算中心的大数据处理能力评估方法，其特征在于：根据计算预测结果评估所述超算中心的大数据处理能力的评判标准包括，

当所述预测结果与实际输入值的误差率为[0，3.1％]时，所述大数据处理能力好；

当所述预测结果与实际输入值的误差率为(3.1％，15.4％]时，所述大数据处理能力较好；

当所述预测结果与实际输入值的误差率为[15.4％，30％]时，所述大数据处理能力较差；

当所述预测结果与实际输入值的误差率高于30％时，所述大数据处理能力差。