[发明专利]基于互联网金融数据的ETL方法及系统

说明书

本发明公开了一种基于互联网金融数据的ETL方法及系统，其中方法包括如下步骤：调度器根据ETL任务依赖关系，获取调度指令，执行离线调度操作的步骤；和/或，调度器根据ETL任务依赖关系，获取调度指令，执行准实时调度操作的步骤。这样，本发明所提供的一种基于互联网金融数据的ETL方法及系统，利用实时处理模块依托实时捕获工具对业务数据进行采集，采用准实时计算技术对数据做准实时加工，既保证了系统的稳定性，也满足了业务对数据时效性的需求。

技术领域

本发明涉及计算机软件技术领域，尤其涉及基于互联网金融数据的ETL方法及系统。

背景技术

ETL(Extract-Transform-Load)，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的地的处理过程。随着移动互联网的普及，作为我国新兴行业的互联网金融得到了快速的发展。总体而言，互联网金融和传统金融在数据层面存在较大差异。传统金融业务相对稳定成熟，比如银行、证券、保险等，历经几十、几百年的发展，业务模式成熟，所以其基于业务模式的数据相对稳定，而互联网金融业务迭代变更速度快，自身数据差异大；传统金融有着规范严格的业务和IT流程，所以数据的标准化程度高，数据格式内容规范，而互联网金融的数据庞杂，规范程度低；传统金融聚焦的行业和客户类型，和互联网金融存在天然的界限，互联网金融主要聚焦于传统金融业服务不到的或者是重视不够的用户，利用信息技术革命带来的规模效应和较低的边际成本，比如行为数据分析等，所以的两边产生的数据类型是不一致的；传统金融的数据管理更强调“数据管控”，而互联网金融则是更侧重通过数据治理实现数据价值。基于以上的不同，传统金融的常规数据处理方法已经不适合互联网金融数据的处理。

传统ETL对数据的时效性要求不高，对程序的处理时间也不敏感，一般是T+1日通过一个完整的ETL流程处理T日的数据。在大数据时代，数据大量、高速、多样的生成，在某些场景中，业务需要实时监控业务状态并做出运营决策，传统ETL方法已经无法满足时效性、准确性等要求；此外随着数据量的急速膨胀，T+1日可能无法及时处理完T日的数据，影响系统的稳定性。

发明内容

本发明的目的是提供一种基于互联网金融数据的ETL方法及系统。

本发明提供了一种基于互联网金融数据的ETL方法，包括如下步骤：

调度器根据ETL任务依赖关系，获取调度指令，执行离线调度操作的步骤；

和/或，调度器根据ETL任务依赖关系，获取调度指令，执行准实时调度操作的步骤。