[发明专利]一种大数据应用平台系统

说明书

本发明涉及大数据领域。一种大数据应用平台系统，基于HDFS的分布式存储体系框架，实现对不同数据源、不同数据类型数据的综合存储与管理；按照“组织”、“人”、“事”、“物”来进行抽象和维度建模：将数据资源中与单位、组织相关的数据进行整合归并，抽象形成统一的“组织”维度；将数据资源中与人相关的数据进行整合归并，抽象形成统一的“人”维度。将数据资源中与业务工作相关的数据进行整合归并，抽象形成统一的“事”维度；将数据资源中与文件、规定相关的数据进行整合归并，抽象形成统一的“物”维度。本发明打破现有的基层、干部、人才、自身建设的数据壁垒，为后续数据挖掘、业务主题分析提供灵活动态的维度支撑。

技术领域

本发明涉及大数据领域，具体涉及数据的管理方法。

背景技术

现有的政务系统多是按照“基层”、“干部”、“人才”、“自身建设”来进行抽象和维度建模的，所构建出的数据资源之间多存在数据壁垒，不利于多个单位之间的数据整合。

发明内容

本发明的目的在于提供一种大数据应用平台系统，以解决上述技术问题。

本发明所解决的技术问题可以采用以下技术方案来实现：

一种大数据应用平台系统，其特征在于，基于HDFS的分布式存储体系框架，实现对不同数据源、不同数据类型数据的综合存储与管理；

大数据应用平台系统按照“组织”、“人”、“事”、“物”来进行抽象和维度建模：

将数据资源中与单位、组织相关的数据进行整合归并，抽象形成统一的“组织”维度；

将数据资源中与人相关的数据进行整合归并，抽象形成统一的“人”维度；

将数据资源中与业务工作相关的数据进行整合归并，抽象形成统一的“事”维度；

将数据资源中与文件、规定相关的数据进行整合归并，抽象形成统一的“物”维度。

优选，大数据应用平台系统由一个NameNode和若干个DataNode组成， NameNode作为主服务器，管理文件系统命名空间和客户端对文件的访问操作， DataNode管理存储的数据。

优选，大数据应用平台系统包括数据采集汇聚平台，数据采集汇聚平台采用SOA总体架构，数据采集汇聚平台基于ETL系统工具以及数据对接服务层软件。

优选，大数据应用平台系统还包括数据质量管理系统，数据质量管理系统根据预先配置的规则、算法和质量检查度量，对数据的准确性、合理性检查，以及时发现问题，解决问题。

优选，大数据应用平台系统还包括元数据管理系统，元数据管理系统把分散在不同系统、不同工具、不同人员中的元数据信息进行统一管理，实现数据从业务层至技术层的全面贯通。

优选，大数据应用平台系统，利用ETL系统工具，对不同类型的数据进行抽取、转换、装载，将一体化工作平台、综合服务门户以及外部各类数据资源统一加载至数据平台。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面进一步阐述本发明。

大数据应用平台系统，利用分布式计算架构，提供传统数据仓库管理以及 NoSQL等非结构化信息数据、实时流数据存储处理的能力，并通过数据分析挖掘、机器学习、人工智能等算法工具，实现对各类数据资源的有效管理和分析利用，为一体化工作平台、综合服务门户、辅助决策平台、保障支撑体系提供技术支撑和数据资源保障。