[发明专利]一种数据处理方法及系统

权利要求书

1.一种数据处理系统，其特征在于，所述数据处理系统至少包括sqlite数据库、任务执行服务模块、Executor工具，以及至少一个服务器，所述至少一个服务器包括Spark服务器和Python服务器；

所述任务执行模块，用于当扫描到所述sqlite数据库中存在任务请求时，从所述sqlite数据库中获取所述任务请求，并将所述任务请求提交至所述Executor工具；其中，所述任务请求用于执行多个任务，所述多个任务至少包括：数据加载和准备、特征工程、宽表拼接，以及模型构建；

所述Executor工具，用于将所述数据加载和准备、所述特征工程和所述宽表拼接提交至Spark服务器；

所述Spark服务器，用于执行数据加载和准备得到多个数据表；基于每个所述数据表执行所述特征工程，得到每个所述数据表对应的自变量分箱和编码映射表；基于多个所述自变量分箱和编码映射表执行宽表拼接，得到目标拼接表，并向所述Executor工具发送所述目标拼接表和宽表拼接完成通知；

所述Executor工具，用于当接收到所述拼接完成通知时，确定所述模型构建对应的任务类型，并将所述目标拼接表和所述模型构建发送给与其任务类型对应的服务器利用所述目标拼接表进行模型构建，得到目标模型；

其中，所述任务的任务类型为单机版，或者为集群版；任务类型为单机版的模型构建提交至Python服务器；任务类型为集群版的模型构建提交至Spark服务器。

2.根据权利要求1所述的系统，其特征在于，所述执行数据加载和准备得到多个数据表的所述Spark服务器，具体用于：

创建与所述任务对应的HDFS数据目录；

与GP数据库建立连接，并从所述GP数据库中获取与所述HDFS数据目录匹配的多个数据表；

从每个所述数据表中获取相应的表头字段，并将每个所述数据表及其对应的表头字段存储至HDFS数据库。

3.根据权利要求1所述的系统，其特征在于，所述基于每个所述数据表执行所述特征工程，得到每个所述数据表对应的自变量分箱和编码映射表的所述Spark服务器，具体用于：

从所述HDFS数据库中获取所述多个数据表；

分别对每个所述数据表进行降维处理，得到每个所述数据表对应的目标自变量；

对所述多个目标自变量进行变量分箱处理，得到最优变量分箱；

根据所述最优变量分箱和每个所述目标自变量的编码，生成自变量分箱和编码映射表。

4.根据权利要求3所述的系统，其特征在于，所述分别对每个所述数据表进行降维处理，得到每个所述数据表对应的目标自变量的所述Spark服务器，具体用于：

分别对每个所述数据表进行变量聚类，得到每个所述数据表对应的多个变量组，其中，每个所述变量组内的自变量高度相关，各个所述变量组之间的自变量高度不相关；

基于最小化统计量规则，从每组所述变量组中选取一个目标自变量。

5.根据权利要求3所述的系统，其特征在于，所述分别对每个所述数据表进行降维处理，得到每个所述数据表对应的目标自变量的所述Spark服务器，具体用于：

针对每个所述数据表，利用预设算法计算所述数据表中的每个自变量的统计量；

将所述统计量小于预设阈值的所述自变量进行剔除，得到所述数据表对应的目标自变量。

6.根据权利要求1所述的系统，其特征在于，所述基于多个所述自变量分箱和编码映射表执行宽表拼接，得到目标拼接表的所述Spark服务器，具体用于：

获取每个所述自变量分箱和编码映射表的表名；

将每个所述表名组装成SQL代码，并对所述SQL代码进行处理，得到AST抽象语法树；

对所述AST抽象语法树进行解析，得到目标代码；

若所述目标代码中的自变量分箱和编码映射表的表名的个数大于目标阈值，且目标筛选条件为空，将各个所述表名对应的所述目标自变量分箱和编码映射表依序进行三表拼接，得到目标拼接表。