[发明专利]大数据平台上的自动回归诊断方法

摘要

本发明涉及一种大数据平台上的自动回归诊断方法，其特征在于，包括以下步骤：将数据源导入到大数据平台上；对导入大数据平台的数据进行放回样本的随机抽样；在各个节点上，分别利用核心算法对随机抽样得到的每份样本进行计算，得到每份样本所对应的回归模型；对得到的各回归模型进行交叉验证，计算得到最终的回归模型。采用本发明提供的方法后，回归建模能完全自动化进行，即回归诊断的工作由算法直接完成，无需投入大量的建模成本，提升回归建模与诊断的效率。

主权项

1.一种大数据平台上的自动回归诊断方法，其特征在于，包括以下步骤：步骤1、将数据源导入到大数据平台上，大数据平台中每台用于计算的服务器为一个节点；步骤2、确定数据抽样个数和每份样本大小后，对导入大数据平台的数据进行放回样本的随机抽样；步骤3、在各个节点上，分别利用核心算法对随机抽样得到的每份样本进行计算，得到每份样本所对应的回归模型；步骤4、对步骤3得到的各回归模型进行交叉验证，计算得到最终的回归模型，其中，步骤3中所述的核心算法包括以下步骤：步骤301、设定迭代停止条件；步骤302、对当前样本的数据进行线性模型的拟合；步骤303、计算步骤302得到的模型的指标，判断指标是否满足步骤301所设的迭代停止条件，若满足，则将模型作为当前样本对应的回归模型输出，若不满足，则进入步骤304；步骤304、对每个自变量单独求取当前自变量对因变量对应的Box‑Cox转换的转换系数，利用转换系数的均值，对因变量进行Box‑Cox转换；步骤305、计算方差膨胀系数，删除自变量中方差膨胀系数大于等于设定阈值的自变量；步骤306、计算AIC指标的中位数，删除自变量中AIC指标大于AIC指标中位数的自变量；步骤307、计算偏R平方，保留自变量中偏R平方小于等于A1且大于等于A2的自变量，A1、A2为预先设定的阈值；步骤308、计算样本数据中所有数据的学生氏残差的B％分位数，B为预先设定的阈值，删除样本数据中学生氏残差大于所有数据的学生氏残差的B％分位数的数据；步骤309、计算样本数据中所有数据的删后残差，并计算所有数据删后残差的B％分位数，删除删后残差大于所有数据删后残差的B％分位数的数据；步骤310、计算样本数据中所有数据的杠杆值，并计算所有数据杠杆值的B％分位数，删除杠杆值大于所有数据杠杆值的B％分位数的数据；步骤311、计算样本数据中各数据的库克距离，并计算所有数据的库克距离C％分位数，C为预先设定的阈值，且C＞B，删除库克距离大于所有数据的库克距离C％分位数的数据；步骤312、对当前样本中剩余的数据进行线性模型的拟合，若遍历所有样本，则返回步骤4，若未遍历所有样本，则返回步骤3。