[发明专利]一种基于政府大数据的智慧健康社区平台建设的方法

说明书

本发明涉及大数据处理技术领域，具体公开了一种基于政府大数据的智慧健康社区平台建设的方法，用于解决现有技术中大数据平台构建中依靠人力劳动带来的耗时又繁琐的技术问题。其技术要点为：包括：获取数据源的基本信息，根据所述数据源的基本信息将对应的数据字典读取到数据库；根据数据源的设置和目标平台的规则构建目标库表结构，并于所述目标库表结构写入目标数据；根据目标数据配置ETL作业并调度监控所述ETL作业运行。本发明可以自动将数据源的数据字典读取到数据库中，自动构建目标库表结构，可以配置ETL作业并调度监控所述ETL作业运行，所以本发明可以加速大数据平台建设进度，减少人力支出，保证项目数据的一致性。

技术领域

本申请涉及大数据处理技术领域，特别是涉及一种基于政府大数据的智慧健康社区平台建设的方法。

背景技术

现有数据仓库或大数据平台建设都是一个很浩大的工程，需要大量的人力投入，从前期的需求调研开始，由于涉及的数据源种类很多，需要大量的人员参与需求调研，走访很多需求部门、分析很多数据源系统，很多数据源系统由于建设年代久远，找不到原来的开发运维人员、系统资料不全、系统处于无人管理状态等；在耗费了大量精力做了需求调研之后，还要整理需求出调研报告，做系统设计、数据库设计、ETL设计、调度设计、运维监控设计等等，都需要投入大量的人员，可以说整个大数据平台的建设都是人力密集工作，尤其里面还有很多枯燥无味的ETL配置开发；最严重的问题还是需求、设计、文档以及实际的大数据平台之间的不一致，在实际的项目中，经常发生这种不一致信息。

发明内容

鉴于以上所述现有技术的缺点，本申请的目的在于提供基于政府大数据的智慧健康社区平台建设的方法、系统、设备及介质，用于解决现有技术中大数据平台构建中依靠人力劳动带来的耗时又繁琐的技术问题。

为实现上述目的及其他相关目的，本申请的第一方面提供一种基于政府大数据的智慧健康社区平台建设的方法，包括：获取数据源的基本信息，根据所述数据源的基本信息将对应的数据字典读取到数据库；根据数据源的设置和目标平台的规则构建目标库表结构，并于所述目标库表结构写入目标数据；根据目标数据配置ETL作业并调度监控所述ETL作业运行。

于本申请的第一方面的一些实施例中，基于政府大数据的智慧健康社区平台建设的方法还包括：对读取到所述数据库中的源数据进行数据质量分析和/或定期扫描数据字典，将所述数据字典结构与数据库结构进行对比分析。

于本申请的第一方面的一些实施例中，基于政府大数据的智慧健康社区平台建设的方法还包括：生成对源数据进行数据质量分析的数据质量分析报告、将所述数据字典结构与数据库结构进行对比分析的对比文件报告以及根据数据源的基本信息生成现有数据源调研报告以及根据数据库生成数据源系统字典中的一个或多个。

于本申请的第一方面的一些实施例中，所述根据数据源的设置和目标平台的规则构建目标库表结构包括：根据数据源的设置和目标平台的规则生成目标表数据，目标字段数据；根据所述目标表数据，目标字段数据以及输入的补充配置数据构建目标库表结构。

于本申请的第一方面的一些实施例中，所述配置ETL作业包括：配置ETL作业基本信息、ETL作业关联信息、ETL字段映射信息以及ETL作业补全信息。

于本申请的第一方面的一些实施例中，所述调度管理所述ETL作业运行包括：配置作业执行的批次号及执行顺序；根据ETL数据表内的配置信息和ETL工具的Job模板文件，自动生成目标ETL工具能执行的Job文件；根据ETL调度配置数据，生成执行调度的调度脚本；将调度脚本添加到调度工具，以通过所述调度工具进行执行和监控ETL作业。

于本申请的第一方面的一些实施例中，基于政府大数据的智慧健康社区平台建设的方法还包括：根据目标库表结构和/或数据库模板生成数据库设计文档、根据ETL数据表内的配置和/或ETL设计文档模板生成ETL设计文档。