[发明专利]一种数据处理方法及系统

说明书

本申请提供一种数据处理方法及系统，数据处理系统中的任务执行模块扫描到sqlite数据库中存在任务请求时，将sqlite数据库中任务请求，提交至Executor工具；Executor工具将任务请求中的数据加载和准备、特征工程和宽表拼接提交至Spark服务器；Spark服务器执行数据加载和准备得到多个数据表；基于每个数据表执行特征工程，得到每个数据表的自变量分箱和编码映射表；基于多个自变量分箱和编码映射表执行宽表拼接，向Executor工具发送目标拼接表和宽表拼接完成通知；Executor工具接收到拼接完成通知，将目标拼接表和模型构建发送给与其任务类型对应的服务器进行模型构建，得到目标模型。

技术领域

本发明涉及计算机技术领域，更具体地说，涉及一种数据处理方法及系统。

背景技术

随着计算机技术的不断发展，互联网、银行、券商、保险等行业广泛的利用计算机技术进行大数据分析和模型构建，例如利用计算机技术研发的CRISP-DM机器学习数据挖掘标准流程；

在CRISP-DM机器学习数据挖掘标准流程中，数据理解、数据准备环节至少涉及到对数十甚至上百张原始数据表的加载和准备、特征工程和建模宽表加工。这些过程需要建模人员对原始数据的业务含义和元数据非常熟悉，同时需要建模人员熟练掌握SQL编程语法，能够写出功能和性能均达标的SQL代码。剩余的环节还包括模型构建，但这过程同样需要建模人员了解各类建模算法的数学原理，熟练掌握各种编程语法和各类建模算法的接口调用规范，并且可以使用对应的编程语言端到端地实现模型构建，使用门槛较高。

发明内容

有鉴于此，本发明提供一种数据处理方法及系统，以在不需要人工干涉的情况下，自动化实现数据数据加载和准备、特征工程、宽表拼接，以及模型构建，从而实现降低使用门槛的目的。

本发明第一方面公开一种数据处理系统，所述数据处理系统至少包括sqlite数据库、任务执行服务模块、Executor工具，以及至少一个服务器，所述至少一个服务器包括Spark服务器和Python服务器；

所述任务执行模块，用于当扫描到所述sqlite数据库中存在任务请求时，从所述sqlite数据库中获取所述任务请求，并将所述任务请求提交至所述Executor工具；其中，所述任务请求用于执行多个任务，所述多个任务至少包括：数据加载和准备、特征工程、宽表拼接，以及模型构建；

所述Executor工具，用于将所述数据加载和准备、所述特征工程和所述宽表拼接提交至Spark服务器；

所述Spark服务器，用于执行数据加载和准备得到多个数据表；基于每个所述数据表执行所述特征工程，得到每个所述数据表对应的自变量分箱和编码映射表；基于多个所述自变量分箱和编码映射表执行宽表拼接，得到目标拼接表，并向所述Executor工具发送所述目标拼接表和宽表拼接完成通知；

所述Executor工具，用于当接收到所述拼接完成通知时，确定所述模型构建对应的任务类型，并将所述目标拼接表和所述模型构建发送给与其任务类型对应的服务器利用所述目标拼接表进行模型构建，得到目标模型；

其中，所述任务的任务类型为单机版，或者为集群版；任务类型为单机版的模型构建提交至Python服务器；任务类型为集群版的模型构建提交至Spark服务器。

可选的，所述执行数据加载和准备得到多个数据表的所述Spark服务器，具体用于：

创建与所述任务对应的HDFS数据目录；

与GP数据库建立连接，并从所述GP数据库中获取与所述HDFS数据目录匹配的多个数据表；

从每个所述数据表中获取相应的表头字段，并将每个所述数据表及其对应的表头字段存储至HDFS数据库。