[发明专利]数据分箱方法、装置、设备及计算机可读存储介质

权利要求书

1.一种数据分箱方法，其特征在于，所述数据分箱方法包括：

读取待处理数据集，并根据预设方法对所述待处理数据集中的特征进行分箱处理，得到初始分箱序列；

对所述初始分箱序列中的分箱进行预合并处理，并计算各预合并后的分箱的效用值；

根据所述效用值和预设条件确定待合并分箱，并对所述待合并分箱进行合并处理，得到更新后的分箱序列；

基于所述更新后的分箱序列按预设规则更新所述预合并后的分箱及其效用值，并根据更新后的效用值对所述更新后的分箱序列中的分箱进行合并处理，依此循环，直至达到预设停止条件时，停止分箱，并输出分箱结果。

2.如权利要求1所述的数据分箱方法，其特征在于，所述对所述初始分箱序列中的分箱进行预合并处理，并计算各预合并后的分箱的效用值的步骤包括：

从所述初始分箱序列中依次取出预设数量的分箱进行预合并处理，得到对应的堆节点及由所述堆节点构成的堆，并计算所述堆中各堆节点的效用值；

所述根据所述效用值和预设条件确定待合并分箱的步骤包括：

根据所述效用值和预设条件确定目标堆节点，并将所述目标堆节点对应的分箱确定为待合并分箱；

所述基于所述更新后的分箱序列按预设规则更新所述预合并后的分箱及其效用值，并根据更新后的效用值对所述更新后的分箱序列中的分箱进行合并处理的步骤包括：

基于所述更新后的分箱序列按预设规则更新所述堆及所述堆中各堆节点的效用值，并根据更新后的堆中各堆节点的效用值对所述更新后的分箱序列中的分箱进行合并处理。

3.如权利要求2所述的数据分箱方法，其特征在于，所述计算所述堆中各堆节点的效用值的步骤之前，还包括：

获取所述初始分箱序列中各分箱的分箱信息，所述分箱信息包括效用值计算参数；

检测所述各分箱的分箱信息的总大小是否已超过预设阈值；

若所述各分箱的分箱信息的总大小已超过预设阈值，则将所述各分箱的分箱信息存储至预先构建的分布式存储系统中；

所述计算所述堆中各堆节点的效用值的步骤包括：

从所述分布式存储系统中获取所述堆中各堆节点对应分箱的效用值计算参数，并根据各堆节点对应分箱的效用值计算参数分别计算各堆节点的效用值。

4.如权利要求3所述的数据分箱方法，其特征在于，所述分箱信息还包括分箱编号，所述计算所述堆中各堆节点的效用值的步骤之后，还包括：

获取所述堆中各堆节点的堆节点信息，并检测所述各堆节点的堆节点信息的总大小是否已超过所述预设阈值；

若所述各堆节点的堆节点信息的总大小已超过所述预设阈值，则对所述各堆节点的堆节点信息进行分布式存储；

其中，所述堆节点信息包括堆节点的编号和效用值、及对应分箱的分箱编号。

5.如权利要求1至4中任一项所述的数据分箱方法，其特征在于，所述对所述待合并分箱进行合并处理，得到更新后的分箱序列的步骤包括：

对所述待合并分箱进行合并处理，得到新分箱；

根据所述待合并分箱的相邻分箱编号在所述初始分箱序列中插入所述新分箱，得到更新后的分箱序列。

6.如权利要求2至4中任一项所述的数据分箱方法，其特征在于，所述基于所述更新后的分箱序列按预设规则更新所述堆及所述堆中各堆节点的效用值的步骤包括：

删除基于所述目标堆节点对应分箱中的任一分箱得到的堆节点，并根据所述新分箱及其在所述更新后的分箱序列中的相邻分箱，生成新的堆节点；

在所述堆中插入所述新的堆节点，以更新所述堆；

获取所述新的堆节点对应分箱的效用值计算参数，并根据所述新的堆节点对应分箱的效用值计算参数计算所述新的堆节点的效用值；

更新所述新的堆节点的效用值，以更新所述堆中各堆节点的效用值。