[发明专利]一种大数据平台运维管理系统

说明书

本申请公开了一种大数据平台运维管理系统，包括数据加载管理模块、脚本发布管理模块和数据导出管理模块，分别用于从上游系统中加载数据、自动实现脚本发布和将数据导出至下游系统。其中，数据加载和数据导出在执行相应脚本时，根据业务编码参数读取配置信息，根据配置信息执行相应的加载/导出逻辑，实现数据加载/导出；脚本发布以目录树的形式维护管理批处理脚本发布目录，能够实现快速的批处理脚本的查找，确定相关信息，并完成批处理脚本发布。所述大数据平台运维管理系统相对于现有技术提升了大数据平台的管理水平和处理效率，能够满足使用者的高标准需求。

技术领域

本发明涉及大数据技术，更具体的说，是涉及一种大数据平台运维管理系统。

背景技术

大数据技术是指从各种各样类型的数据中，快速获得有价值信息的能力。大数据平台是为了计算现今社会所产生的越来越大的数据量，以存储、运算、展现作为目的的平台。

银行是依法成立的经营货币信贷业务的金融机构，银行系统在正式运行期间，需要与许多其他的与金融相关的系统进行业务联系。在银行系统与其他系统进行联系的过程中，需要用到大数据平台对银行系统与其他系统之间的业务数据进行管理。按照大数据平台与其他系统之间的数据流向，可以将与大数据台具有业务往来的系统分为两类，用于向大数据平台提供数据的系统为源系统，或叫做上游系统，大数据平台将处理过的数据发出到达的系统为下游系统。

现有技术中，大数据平台的整体项目管理工作和运维管理工作的管理水平差，管理效率低。面对越来越庞大的数据量和复杂多样的金融业务，原始大数据平台也越来越难以满足使用者的高标准需求。

发明内容

有鉴于此，本发明提供了一种大数据平台运维管理系统，以提升大数据平台的管理水平和处理效率，满足使用者的高标准需求。

一种大数据平台运维管理系统，包括：

数据加载管理模块，用于对大数据平台的已加载数据的特征信息进行登记管理，并执行数据加载脚本，以根据业务编码参数读取配置信息，根据配置信息执行相应的逻辑，实现数据加载；

脚本发布管理模块，用于以目录树的形式维护管理批处理脚本发布目录，自动发布用户上传的批处理脚本更新包，同时对脚本历史版本进行存档；

数据导出管理模块，用于登记不同数据的导出配置信息，并执行数据导出脚本，以根据业务编码参数读取配置信息，根据配置信息执行相应的导出逻辑，实现数据导出。

可选的，还包括：

开发运维工具模块，用于管理开发运维工具。

可选的，所述开发运维工具包括批处理脚本全文检索、数据迁移比对、数据库比对、数据映射抽取和数据在线导入工具。

可选的，还包括：

项目管理模块，用于登记维护项目脚本在服务器端存放的目录树，同时维护目录对应的大数据平台数据库用户，将新建项目绑定项目目录，设定项目对于数据加载、脚本发布、数据导出三类操作的权限，指定项目负责人，并进行登录管理，确定登录者的操作权限。

可选的，所述大数据平台运维管理系统还包括调度系统，所述数据加载脚本和所述数据导出脚本配置在所述调度系统中，则所述数据加载管理模块具体用于：从所述调度系统调取数据加载脚本，周期性的自动加载上游系统数据；

所述数据导出管理模块具体用于：从所述调度系统调取数据导出脚本，周期性自动导出数据到下游系统。

可选的，所述已加载数据的特征信息包括源系统信息、表信息和加载配置信息，则所述数据加载管理模块登记管理的信息包括：源系统信息、源表信息、数据文件信息、大数据平台表信息、加载方式和保存策略信息。

可选的，所述导出配置信息包括大数据平台导出表、导出文件和导出方式信息。