[发明专利]一种数据管理方法及平台

说明书

本发明公开了一种数据管理方法及平台，属于大数据处理技术领域，用于解决现有的金融数据管理方法数据处理的效率低，数据管理平台操作复杂且工作流开发和调度功能不够完善的技术问题。方法包括：根据接收到的数据抽取指令，在目标数据库中抽取目标金融数据；对所述目标金融数据进行预处理，得到待处理金融数据；基于用户创建的数据管理工作流，确定所述待处理金融数据的数据处理流程；其中，所述数据管理工作流中包括数据传输任务、数据分析任务以及数据质量检测任务；基于所述处理流程以及预设任务配置信息，执行所述数据管理工作流，以对所述待处理金融数据进行相应的处理。

技术领域

本申请涉及大数据处理技术领域，尤其涉及一种数据管理方法及平台。

背景技术

金融数据管理平台是处理各方金融数据的重要工具。金融数据管理平台需要处理各类型的金融数据，从数据结构的角度，可分为宏观经济数据、行业统计数据、上市公司数据、海关数据等结构化数据，以及实时资讯、分析报告等非结构化数据；从数据更新频度的角度，可分为低频数据，以及高频数据如实时行情报价、交易数据等。显然，金融数据管理平台是一个典型的混合数据类型的应用平台。

面对种类多样、结构复杂的金融数据，需要有效地抽取、整合、存储、分析和挖掘利用金融数据。而现有的金融数据管理平台中对数据的处理往往还是依赖于专业的工作人员撰写相应的代码进行处理，处理效率低，且对平台使用者的专业性要求较高，导致平台的使用门槛较高，也在一定程度上增加了工作人员的工作量。且现有的金融数据管理平台中的工作流开发和调度功能不够完善，且操作复杂，不能满足金融数据处理平台的高效、操作简单的需求。

发明内容

本申请实施例提供了一种数据管理方法及平台，用于解决如下技术问题：现有的金融数据管理方法数据处理的效率低，数据管理平台操作复杂且工作流开发和调度功能不够完善。

本申请实施例采用下述技术方案：

一方面，本申请实施例提供了一种数据管理方法，方法包括：根据接收到的数据抽取指令，在目标数据库中抽取目标金融数据；对所述目标金融数据进行预处理，得到待处理金融数据；基于用户创建的数据管理工作流，确定所述待处理金融数据的数据处理流程；其中，所述数据管理工作流中包括数据传输任务、数据分析任务以及数据质量检测任务；基于所述处理流程以及预设任务配置信息，执行所述数据管理工作流，以对所述待处理金融数据进行相应的处理。

在一种可行的实施方式中，根据接收到的数据抽取指令，在目标数据库中抽取目标金融数据，具体包括：识别所述数据抽取指令中的目标数据库，并确定所述目标数据库是否属于数据管理平台集成的数据库；其中，所述数据管理平台集成的数据库包括：HIVE数据库、HDFS数据库、SFTP数据库、ElasticSearch数据库、MySQL数据库；根据所述目标数据库的类型，选择对应的数据库语句模板；识别所述数据抽取指令中的抽取信息；其中，所述抽取信息包括目标抽取位置、开始抽取时间、抽取间隔时间、每次抽取数据量；将所述数据库语句模板中的占位符替换为对应的抽取信息，生成对应的数据库语句；在所述目标数据库中执行所述数据库语句，以按照所述抽取信息，抽取所述目标金融数据。

本申请实施例通过设置数据库语句模板，简化了普通工作人员使用平台时需要操作的步骤，只需填写一些简单内容，即可由平台自动完成数据抽取过程，且能够定时定量抽取金融数据，提高了数据抽取的效率，降低了数据管理平台的操作难度，减少了工作人员在日常使用数据管理平台时的工作量。