[发明专利]数据处理方法、装置及存储介质在审
申请号: | 202210122380.0 | 申请日: | 2022-02-09 |
公开(公告)号: | CN116611531A | 公开(公告)日: | 2023-08-18 |
发明(设计)人: | 彭春华;刘涛;侯雅新;杜宝坤;马逍遥;薛冰芳;李锋雨 | 申请(专利权)人: | 北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06N20/00 | 分类号: | G06N20/00;G06F21/62 |
代理公司: | 北京派特恩知识产权代理有限公司 11270 | 代理人: | 孙静;张颖玲 |
地址: | 100176 北京市大兴区经济技*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 存储 介质 | ||
1.一种数据处理方法,其特征在于,包括:
获取待处理数据;
利用决策树模型对所述待处理数据进行处理,得到所述待处理数据的处理结果;其中,
所述决策树模型中的每个树模型是通过分组计算多个样本数据,以及第二服务器发送的多个异地样本数据对应的中间数据训练得到的。
2.根据权利要求1所述的数据处理方法,其特征在于,所述利用决策树模型对所述待处理数据进行处理,得到所述待处理数据的处理结果之前,所述方法还包括:
根据所述多个样本数据的多个业务参数计算的梯度向量,确定出特征分组后的所述多个样本数据对应的,多个特征的分裂点向量,以及所述多个异地样本数据对应的,多个异地特征的异地分裂点向量;每个样本数据包括:对应的业务参数和多个特征的特征值;每个异地样本数据包括:对应多个异地特征的异地特征值;
结合所述分裂点向量和所述异地分裂点向量确定出的最佳分裂点阈值,进行所述多个样本数据或者所述多个异地样本数据的迭代分裂,直至满足第一预定条件时停止,得到当前树模型;
利用当前树模型处理得到所述多个样本数据的多个残差,再根据所述多个残差训练得到下次树模型,直至满足第二预定条件时训练停止,得到多个树模型,将得到的所述多个树模型组合形成所述决策树模型。
3.根据权利要求2所述的数据处理方法,其特征在于,所述根据所述多个样本数据的多个业务参数计算的梯度向量,确定出特征分组后的所述多个样本数据对应的,多个特征的分裂点向量,以及所述多个异地样本数据对应的,多个异地特征的异地分裂点向量,包括:
根据所述多个样本数据的所述多个业务参数计算的所述梯度向量,确定出特征分组后的多个特征对应的所述分裂点向量;
将所述梯度向量发送给所述第二服务器,接收所述第二服务器根据所述梯度向量反馈的多个异地梯度直方图及其对应的多个异地阈值,进而计算出所述异地分裂点向量;其中,
所述多个异地梯度直方图是所述第二服务器,根据所述多个异地样本数据的多个异地特征值确定的;所述多个样本数据与所述多个异地样本数据包括相同的标识信息;所述多个异地梯度直方图对应多个异地特征;所述中间数据包括:所述多个异地梯度直方图及其对应的所述多个异地阈值。
4.根据权利要求3所述的数据处理方法,其特征在于,所述根据所述多个样本数据的所述多个业务参数计算的所述梯度向量,确定出特征分组后的多个特征对应的所述分裂点向量之前,所述方法还包括:
获取多个样本数据,对所述多个样本数据分别包含的多个特征进行分组,得到多个特征组;每个特征组内包括:所述多个样本数据对应的至少一个特征的多个特征值;
所述根据所述多个样本数据的所述多个业务参数计算的梯度向量,确定出特征分组后的多个特征对应的所述分裂点向量,包括:
根据所述梯度向量,按照特征组的顺序计算所述每个特征组内的,所述至少一个特征对应的至少一个最佳阈值,进而得到所述多个特征对应的多个最佳阈值;
将所述多个最佳阈值排序,形成所述分裂点向量。
5.根据权利要求4所述的数据处理方法,其特征在于,所述根据所述梯度向量,按照特征组的顺序计算所述每个特征组内的,所述至少一个特征对应的至少一个最佳阈值,包括:
获取每个特征的所述多个特征值的多个阈值,按照特征组的顺序根据所述多个阈值,构建出对应所述每个特征的多个直方图,将所述每个特征对应的所述多个特征值,划分到对应的直方图,得到对应所述多个特征的多个中间梯度直方图;
根据所述梯度向量计算得到所述多个样本数据的多个梯度,将所述多个梯度分别累加在对应数值范围内的中间梯度直方图中,得到多个梯度直方图;
在所述多个阈值中确定出当前阈值,并计算出当前信息增益;
若所述当前信息增益小于前一个信息增益,则根据所述每个梯度直方图对应的新阈值,进行阈值的迭代,直至所述当前信息增益大于前一个所述当前信息增益时,得到所述每个梯度直方图对应最佳阈值,进而得到所述至少一个最佳阈值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司,未经北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210122380.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:天线装置及电子设备
- 下一篇:预编码指示方法、装置、通信设备、系统及存储介质