[发明专利]数据处理的方法、装置、存储介质及电子设备在审
申请号: | 202010003252.5 | 申请日: | 2020-01-02 |
公开(公告)号: | CN111191731A | 公开(公告)日: | 2020-05-22 |
发明(设计)人: | 付小勇 | 申请(专利权)人: | 同盾控股有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62 |
代理公司: | 北京律智知识产权代理有限公司 11438 | 代理人: | 孙宝海;袁礼君 |
地址: | 311121 浙江省杭州市余*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 存储 介质 电子设备 | ||
1.一种数据处理的方法,其特征在于,所述方法包括:
基于样本数据的柯尔莫可洛夫-斯米洛夫KS值确定备选分界点集合;
基于分箱组数以及分箱的信息值IV从所述备选分界点集合中确定目标分界点;
获取所述样本数据基于所述目标分界点的分箱结果;
基于所述分箱结果对模型进行训练。
2.如权利要求1所述的方法,其特征在于,基于所述样本数据的KS值确定备选分界点集合,包括:
基于所述样本数据的KS值对所述样本数据进行循环分箱,基于满足预设条件的分箱结果确定备选分界点集合。
3.如权利要求2所述的方法,其特征在于,基于所述样本数据的KS值对所述样本数据进行循环分箱,基于满足预设条件的分箱结果确定备选分界点集合,包括:
获取所述样本数据的分箱结果;
判断所述分箱结果是否满足所述预设条件;
若判断结果为否,基于所述分箱结果的KS值进行分箱,更新所述样本数据的分箱结果;
若判断结果为是,基于所述分箱结果确定备选分界点集合。
4.如权利要求3所述的方法,其特征在于,获取所述样本数据的分箱结果,包括:获取更新后的所述样本数据的分箱结果,以及获取所述样本数据的初始分箱结果;
其中,获取所述样本数据的初始分箱结果,包括:
计算所述样本数据的KS值,基于所述KS值将所述样本数据分箱,以获取所述样本数据的初始分箱结果。
5.如权利要求1所述的方法,其特征在于,基于分箱组数以及分箱的信息值IV从所述备选分界点集合中确定目标分界点,包括:
从所述备选分界点集合确定所有满足所述分箱组数的分界点组合;
计算每个分界点组合的IV,并基于IV值最大对应的分界点组合确定目标分界点。
6.如权利要求1所述的方法,其特征在于,所述方法还包括:
判断所述目标分界点对应的各分箱结果内是否存在样本数据的数目是否小于第一阈值的分箱结果;
若判断结果为是,从所述目标分界点中去除掉分箱结果内的样本数据的数目小于数目阈值的分箱结果对应的目标分界点。
7.如权利要求1-6任意一项所述的方法,其特征在于,预设条件包括:分箱组数达到组数阈值以及分箱结果内的样本数据的数目小于第二阈值中的至少一个。
8.一种数据处理的装置,其特征在于,所述装置包括:
第一确定模块,配置为基于样本数据的柯尔莫可洛夫-斯米洛夫KS值确定备选分界点集合;
第二确定模块,配置为基于分箱组数以及分箱的信息值IV从所述备选分界点集合中确定目标分界点;
获取模块,配置为获取所述样本数据基于所述目标分界点的分箱结果;
训练模块,配置为基于所述分箱结果对模型进行训练。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于同盾控股有限公司,未经同盾控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010003252.5/1.html,转载请声明来源钻瓜专利网。