[发明专利]基于互联网金融数据的ETL方法及系统

权利要求书

1.一种基于互联网金融数据的ETL方法，其特征在于，包括如下步骤：

调度器根据ETL任务依赖关系，获取调度指令，执行离线调度操作的步骤；

和/或，调度器根据ETL任务依赖关系，获取调度指令，执行准实时调度操作的步骤。

2.如权利要求1所述的基于互联网金融数据的ETL方法，其特征在于，

Web服务器处理http请求，允许用户与应用服务器进行业务规则交互，用户通过web页面跟踪任务的运行状态以及管理任务的步骤；

和/或，应用服务器负责业务逻辑的处理的步骤。

3.如权利要求2所述的基于互联网金融数据的ETL方法，其特征在于，所述调度器根据ETL任务依赖关系，获取调度指令，执行离线调度操作的步骤，包括：

S1用于通过数据收集器对第一源数据进行抽取的步骤；

S2用于将抽取的第一源数据进行解析，并转换输出平面文件的步骤；

S3用于将所述平面文件进行加载至离线计算平台的步骤。

4.如权利要求3所述的基于互联网金融数据的ETL方法，其特征在于，所述S2将抽取的第一源数据进行解析，并转换输出平面文件的步骤，包括：

S21用于对于数据库系统，基于ODBC/JDBC驱动，通过SQL实现数据的抽取，输出平面文件的步骤；和/或

S22用于对于非结构化文本文件，通过结构化处理输出结构化平面文件的步骤；和/或

S23用于对于非文本文件，通过相应的数据解码器输出平面文件的步骤。

5.如权利要求4所述的基于互联网金融数据的ETL方法，其特征在于，所述S3将所述平面文件进行加载至离线计算平台的步骤，包括：

S31用于离线计算平台对源数据进行清洗转换加工，通过数据建模，并将平台的源数据进行分布式存储的步骤；和/或

S32用于离线计算平台对源数据进行清洗转换加工，基于分布式计算引擎，对源数据进行计算处理的步骤。

6.如权利要求2所述的基于互联网金融数据的ETL方法，其特征在于，所述调度器根据ETL任务依赖关系，获取调度指令，执行准实时调度操作的步骤，包括：

S4用于通过实时数据捕获器对第二源数据进行抽取的步骤；

S5用于通过数据采集中间件接收上述抽取的第二源数据的步骤；

S6用于将从数据采集中间件获取的第二源数据进行结构化解析的步骤；

S7用于将解析后的第二源数据发送至准实时计算平台进行计算处理的步骤。

7.如权利要求1至6任一项所述的基于互联网金融数据的ETL方法，其特征在于，还包括如下步骤：

S8用于按照多维方式，搭建数据集市进行存储的步骤。

8.一种基于互联网金融数据的ETL系统，其特征在于，包括：

调度器根据ETL任务依赖关系，获取调度指令，执行离线调度操作的模块；

和/或，调度器根据ETL任务依赖关系，获取调度指令，执行准实时调度操作的模块。

9.如权利要求8所述的基于互联网金融数据的ETL系统，其特征在于，包括：

Web服务器处理http请求，允许用户与应用服务器进行业务规则交互，用户通过web页面跟踪任务的运行状态以及管理任务的模块；

和/或，应用服务器负责业务逻辑处理的模块。

10.如权利要求9所述的基于互联网金融数据的ETL系统，其特征在于，所述调度器根据ETL任务依赖关系，获取调度指令，执行离线调度操作的模块，包括：

用于通过数据收集器对第一源数据进行抽取的子模块；

用于将抽取的第一源数据进行解析，并转换输出平面文件的子模块；

用于将所述平面文件进行加载至离线计算平台的子模块。