[发明专利]基于XGBoost的水库大坝风险等级评估方法及系统

权利要求书

1.一种基于XGBoost的水库大坝风险等级评估方法，其特征在于，包括如下步骤：

步骤一：获取水库大坝风险影响因子相关的特征数据及风险等级表，对全部特征数据进行预处理，针对数据内容及格式进行特征清洗、数据转换、数据填充，规范化数据后得到数据集；

步骤二：基于步骤一完成的数据集，检查数据集样本不均衡情况，当样本存在不均衡情况时对样本采用技术手段进行处理以使得样本更为均衡；

步骤三：基于步骤二处理后的数据集，将其划分为训练集和测试集；训练集被用于输入模型，通过模型不断学习训练数据中每个特征的深层信息，使其拥有评估预测的能力；测试集用于评估模型评估预测能力的好坏；

步骤四：建立基于XGBoost水库大坝风险等级评估预测模型，通用参数、任务参数及基学习器参数设置为默认参数，根据数据集特征调整计算特征重要性的方式，并设置每个水库大坝风险等级结果输出的方式；

采用XGBoost算法对水库大坝风险等级进行评估和预测，其目标函数具体公式为：

上式中，为评估模型复杂程度的正则项函数，为评估模型拟合程度的损失函数，y_t表示在样本上的真实得分值，表示在样本上的预测得分值；

特征重要性计算采用“weight”，“gain”，“cover”方式，“weight”反映特征在树中出现次数；“gain”反映特征分裂时的平均增益；“cover”是特征在分裂节点时覆盖的所有样本的个数；

步骤五：基于训练集数据及建立的XGBoost水库大坝风险评估预测等级模型，采用Pandas将数据集打开，采用iloc将25个特征数据选中并作为X变量输入模型，得到初步的XGBoost模型；其中X变量为训练集数据中的x_train，将风险等级作为Y变量输入模型，其中Y为训练集数据中的y_train；

步骤六：根据步骤五建立的XGBoost模型，利用Cross validation将数据集进行分组并设置参数、确定优化参数范围及参数搜索步长，将一部分作为训练集训练分类器，再利用验证集验证模型，并记录最后的分类准确率为分类器的性能；

步骤七：对于Cross-validation中的每次训练，采用GridSearch遍历所有参数组合，确定其最优参数，并将k次训练结果中精度最高的参数组合进行输出，作为模型的最终参数；

步骤八：将步骤七得到的最优参数组合于模型，并在测试集上全方面评估模型性能，并从中选择精度最高的最优方案。

2.根据权利要求1所述的基于XGBoost的水库大坝风险等级评估方法，其特征在于，所述步骤一中预处理至少包括以下方式中的至少一项：

(1)处理数据内容与标题不符、数据格式异常、数据内容缺失问题；

(2)对文本特征进行特征变换，将大坝类型、防渗体类型、筑坝材料及筑坝目的等文本型数据利用LabelEncoder转换为数值型数据。

3.根据权利要求2所述的基于XGBoost的水库大坝风险等级评估方法，其特征在于，还包括如下处理：

1、首先对特征值缺失情况进行统计，将缺失比例大于60％的无效特征删除；

2、针对具有数值类型和文本类型的水库大坝数据集，去除水库大坝数据集中重复特征信息；

3、判断数据集是否为包含数值和文本数据的混合数据集，若存在文本数据，则根据特征数量选择将文本数据的特征值与数值进行映射或者将特征值映射到高维空间中，然后再对特征进行降维；

4、对特征集合中缺失的特征值信息进行填充，由于水库大坝特征多为离散值，因此缺失值填充可以使用研究区域内水库大坝的特征均值或众数；此外还可将缺失值统一设置为某一具体数值，用以提升模型的鲁棒性。

4.根据权利要求1所述的基于XGBoost的水库大坝风险等级评估方法，其特征在于，所述步骤二中技术手段为：据步骤一获得的水库大坝风险等级数据集的样本情况对其进行融合采样处理，基于数据层面，通过基于下采样和类别均衡采样的融合采样方式确保数据集满足模型要求；基于算法层面根据水库大坝风险等级划分情况设置调整多种类别的对应权重、在算法建立过程中增加惩罚项。