[发明专利]一种数据处理的方法和装置

权利要求书

1.一种数据处理方法，其特征在于，包括：

从多个不同类别的数据源采集待挖掘用户的用户数据；其中，所述用户数据包括所述待挖掘用户对应的行业类别、金融数据、税务数据、耗能数据、以及用户唯一标识；

聚合所述用户数据，并将所述用户数据处理为同类别用户数据集合；

利用数据分布模型计算所述用户数据集合中的所述用户数据的数据分布，根据所述数据分布选择数据分析模型；利用所述数据分析模型，从所述用户数据集合中确定关联于用户唯一标识的特征数据；根据所述特征数据，利用分类器模型，确定所述特征数据对应的待挖掘用户是否为目标用户；

所述分类器模型为随机森林模型，在训练所述随机森林模型时，使用预测能力指标WOE/IV、ROC/AUC、GINI系数、稳定性指标PSI作为评估指标评估所述随机森林模型；所述WOE为证据权重，所述IV 为信息价值，所述ROC曲线代表操作特征曲线，所述AUC 指曲线下的面积，所述GINI系数用于评价特征分类的标准，所述稳定性指标PSI用于衡量测试样本及模型开发样本评分的分布差异；

所述利用分类器模型，确定所述特征数据对应的待挖掘用户是否为目标用户，包括：

利用所述随机森林模型，计算所述特征数据对应的所述待挖掘用户的分数值；当所述分数值大于设定阈值时，将所述分数值对应的所述待挖掘用户确定为所述目标用户。

2.根据权利要求1所述的方法，其特征在于，

从多个不同类别的数据源采集待挖掘用户的用户数据，包括：

在采集所述用户数据时，所述不同类别的数据源为加密文件；其中，所述数据源包括：所述唯一标识归属的数据源、所述金融数据归属的数据源、所述税务数据归属的数据源、所述耗能数据归属的数据源、所述行业类别归属的数据源。

3.根据权利要求1所述的方法，其特征在于，

聚合所述用户数据，将所述用户数据处理为同类别的用户数据集合，包括：

解密并读取采集到的来自不同类别的数据源的所述用户数据，对所述用户数据进行去除异常数据或者去重操作，生成同类别的所述用户数据集合。

4.根据权利要求1所述的方法，其特征在于，

所述数据分布模型包括：集中趋势分析模型、离中趋势分析模型、统计分析模型中的任意一种或多种。

5.根据权利要求1所述的方法，其特征在于，

所述数据分析模型包括：方差分析模型、相关性分析模型、回归分析模型、因子分析模型中的任意一种或多种。

6.根据权利要求1所述的方法，其特征在于，

利用所述数据分析模型，从所述用户数据集合中确定关联于用户唯一标识的特征数据；还包括：

将所述特征数据划分为多个子数据集合，并分别存储所述子数据集合。

7.根据权利要求6所述的方法，其特征在于，

所述利用分类器模型，确定所述特征数据对应的待挖掘用户是否为目标用户，包括：

利用所述随机森林模型，计算所述子数据集合对应的所述待挖掘用户的分数值；当所述分数值大于设定阈值时，将所述分数值对应的所述待挖掘用户确定为所述目标用户。

8.根据权利要求1所述的方法，其特征在于，

利用可视化模块，从多个维度展示所述目标用户的所述特征数据。