[发明专利]对业务数据进行管理和一体化建模的方法及系统

说明书

本发明提供了一种对业务数据进行管理和一体化建模的方法及系统。该方法包括：步骤S1：将业务数据以数据表的形式进行导入数据集管理页面；步骤S2：选择数据集管理页面中的某一数据表进行建模；步骤S3：查看各个模型是否运行成功，若运行成功，则模型管理列表“状态”列将变为“运行成功”，并查看该运行成功的模型对应的模型报告。本发明在面对复杂多样化的业务场景和客户需求时，通过一站式建模的方式，灵活建立模型，生成标签，无需定制化的重复开发就能直接使用模型生成的模型分标签，可以减少人力开发成本。建模过程中支持多种模型算法，包括随机森林、XGBoost、widedeep、信贷评分、评分策略模型等。

技术领域

本发明涉及信息管理技术领域，尤其涉及对业务数据进行管理和一体化建模的技术领域。

背景技术

随着信息技术发展和互联网+的深度渗透，公司商业模式和管控方式正发生着革命性变化，各大公司在此背景下不断推进数据管理和模型训练，各项目数量不断增多，系统间数据横向融合、纵向交互需求也在逐渐增加，银行、消费金融公司、小贷公司等金融机构在互联网业务量急剧上升的同时，各类金融机构迫切希望推动消费金融模式和互联网信贷风控决策过程能向更为智能化和自动化的方向进行升级演进。在此背景下，模型管理平台应运而生。

现有的模型管理平台具有以下技术缺陷：

(1)业务流程项目与大数据项目交互强耦合；

(2)模型运算周期长(跟集群资源服务有关)。

发明内容

为了克服上述技术缺陷，本发明的第一个方面提供一种对业务数据进行管理和一体化建模的方法，其包括以下步骤：

步骤S1：将业务数据以数据表的形式进行导入数据集管理页面；

步骤S2：选择数据集管理页面中的某一数据表进行建模，包括步骤：

步骤S2.1：数据准备：选择要使用的数据表；

步骤S2.2：模型设置：(1)选择模型类型，所述模型类型包括widedeep模型、随机森林模型、评分策略模型、XGBoost模型和信贷评分模型；(2)进行变量的选择，将变量勾选为预测变量或目标变量；预测变量也称解释性变量或自变量，是指分析者主动操纵的变量；目标变量也称因变量，是由于自变量变动而引起变化的量；若无符合条件的目标变量，可点击进行目标区间的设置，包括自动配置与sql定义两种方式；然后还可以点击查看变量详情按钮，查看数值型变量的详细信息，包括变量名称、非空数量、均值、方差、最小值、最大值、25％、50％、75％、KS、PSI、IV值的结果，便于进行预测变量的选择；模型及变量选择完毕后即可进行下一步；

步骤S2.3：模型配置：(1)选择调优方式，包括智能调优与自定义两种；(2)进行参数设置，包括建模前置参数、模型参数、分数映射参数三类，每种均提供默认值；

步骤S2.4：生成结果并同步到模型管理页面：(1)数据预处理：对数据样本进行格式校验，剔除脏数据及不符合建模条件对特征列；同时根据参数将数据集划分为训练集、验证集、测试集，用于训练；(2)特征筛选：预处理后的样本通过KS值、PSI值、IV值、相关性等指标进行多轮筛选，保留最有效的特征，减少训练时间，提高模型效果；(3)模型训练：筛选后的样本集根据设置参数进行模型训练，并保存训练结果；(4)模型评估：计算各模型训练结果的相关指标结果，并输出指标报告；

步骤S3：查看各个模型是否运行成功，若运行成功，则模型管理列表“状态”列将变为“运行成功”，并查看该运行成功的模型对应的模型报告。

进一步地，在步骤S3之后，进一步包括：对运行成功的模型进行预测和/或部署；