[发明专利]密度聚类分箱方法

权利要求书

1.一种密度聚类分箱方法，其特征在于，所述密度聚类分箱方法包括：

步骤A、对风控数据集进行预处理；

步骤B、为数据集中数据的每个属性划分密度聚类，获取各个属性的密度聚类簇的中心程度；

步骤C、通过迭代损失函数进行密度聚类分箱，获取第一次分箱结果；

步骤D、若密度聚类分箱的区间符合设定要求，则减小属性距离，并再次进行密度聚类分箱，直至密度聚类分箱的区间符合设定要求。

2.根据权利要求1所述的密度聚类分箱方法，其特征在于：

所述步骤A中，对数据集进行预处理包括：

剔除数据集中不适合分箱的列，包括高缺失率的列及单一值过高的列；

对数据集中的缺失值进行处理；填充缺失值，或将其设为设定最小值；

将数据集中的标签转换为数值类型；

将数据集中的数据按照设定顺序进行排序。

3.根据权利要求1所述的密度聚类分箱方法，其特征在于：

所述步骤B进一步包括：根据样本总数确定密度聚类簇的最小判定数，根据所述最小判定数为每个属性划分密度聚类簇，根据各个属性的密度聚类簇的四分位数确定各个属性的密度聚类簇的中心程度。

4.根据权利要求1所述的密度聚类分箱方法，其特征在于：

所述步骤B进一步包括：

初始化区间；确定分箱主体区间，将异常值剔除；通过四分位数的思想，确定单变量的上边缘和下边缘；在分箱主体区间之外的都当作异常点或异常区间进行标注，不将其加入迭代计算；

初始化参数EPS和min_samble；若已有则继承参数(对同一数据集)；否则，设EPS＝(上边缘-下边缘)/100，min_samble＝行数/1000。

5.根据权利要求1所述的密度聚类分箱方法，其特征在于：

所述步骤D具体包括，在划分密度聚类的过程中，将重复值超过设定数量或数据的特殊值之差小于设定值的数据划分为一个密度聚类簇；对于重复值超过设定数量的数据，在[Q1,Q3]区间只有单个簇或业务逻辑中簇的数量低于设定值时，属性距离降低设定值后再次进行密度聚类分箱，直至密度聚类分箱的区间符合设定要求；其中，Q1、Q3表示四分位数的两个点，Q1为上四分位点，Q3为下四分位点。

6.根据权利要求1所述的密度聚类分箱方法，其特征在于：

所述步骤C、步骤D中的密度聚类分箱过程包括：

按从大到小的顺序对数据集进行排序，Q0作为上边缘点，Q1作为上四分位点，Q2作为中位数点，Q3作为下四分位点，Q4作为下边缘点；

密度聚类分箱算法的损失函数为：

异常点和重复点不纳入损失函数；σ为权重函数，值域[0,1]，分配算式1和算式2的权重；n为分箱数，k为每个分箱的脚标；ε为固定值，避免为0；

算式1：表示各分箱区间簇的中心程度，每个簇的中心占分箱区间的比例，比例越小越好；

算式2：为每个簇中位数点和中点的绝对距离，用来表示中心聚点与区间中点的偏离程度，比例越小越好；

向密度聚类分箱算法的损失函数中加入正则化参数，优化损失函数。

7.根据权利要求1所述的密度聚类分箱方法，其特征在于：

所述密度聚类分箱方法进一步包括：按照第一次分箱结果，若分箱区间内上四分位点等于下四分位点，或者上四分位点小于某个极小值，则认为这是一个特殊点，将这个特殊点单独分为一个区间，该区间不再纳入计算。

8.根据权利要求1所述的密度聚类分箱方法，其特征在于：

所述步骤D中，根据损失函数进行迭代，直至损失值loss最小；

算式1：表示各分箱区间簇的中心程度，每个簇的中心占分箱区间的比例，比例越小越好；

算式2：为每个簇中位数点和中点的绝对距离，用来表示中心聚点与区间中点的偏离程度，比例越小越好；

迭代即调整参数EPS和min_samble，以及区间划分参数，其中分箱区间的Q0表示区间的最大值，Q4表示区间的最小值。