[发明专利]一种分布式环境下的海量数据存储与计算系统

说明书

本发明公开了一种分布式环境下的海量数据存储与计算系统，所述分布式环境下对采集系统中海量数据的存储与计算系统包括，运行框架，为分布式计算、内存计算提供运行支撑；核心应用服务层，用于提供平台服务；管理控制台，为核心应用服务层提供管理控制界面，提供的界面操作功能，监控平台核心应用服务层中各组件的运行情况。以解决现有技术平台结构可扩展性较差，对数据操作存在困难的问题。

技术领域

本发明涉及计算机领域，尤其涉及一种分布式环境下的海量数据存储与计算系统。

背景技术

现有的电采集系统的海量数据的存储与计算平台，平台结构可扩展性较差，对数据操作困难。

发明内容

本发明要解决的技术问题是：提供一种分布式环境下的海量数据存储与计算系统，以解决现有技术平台结构可扩展性较差，对数据操作存在困难的问题。

本发明的技术方案是：一种分布式环境下的海量数据存储与计算系统，所述分布式环境下对采集系统中海量数据的存储与计算系统包括，

运行框架，为分布式计算、内存计算提供运行支撑；

核心应用服务层，用于提供平台服务；

管理控制台，为核心应用服务层提供管理控制界面，提供的界面操作功能，监控平台核心应用服务层中各组件的运行情况。

进一步地，所述核心应用服务层包括集成封装，集成封装包括sqoop、impala、hbase、mapreduce、spark和hdfs交互API。

进一步地，所述核心应用服务层包括服务访问代理，服务访问代理包括Socket、Webservice和RESTful交互方式。

进一步地，所述核心应用服务层包括数据导入接口。

进一步地，所述核心应用服务层包括查询接口。

进一步地，所述核心应用服务层包括访问权限控制器。

本发明的有益效果是：

与现有技术相比，本发明通过使用运行框架，为分布式计算、内存计算提供运行支撑；核心应用服务层，用于提供平台服务；管理控制台，为核心应用服务层提供管理控制界面，提供的界面操作功能，监控平台核心应用服务层中各组件的运行情况。平台可扩展性大大增强，且对数据更加容易操作。

附图说明

图1为本发明的结构示意图；

图中：1运行框架、2核心运用服务层、201集成封装、202服务访问代理、203数据导入接口、204查询接口、205访问权限控制器、3管理控制台。

具体实施方式

下面结合附图及具体的实施例对发明进行进一步介绍：

参考图1，一种分布式环境下的海量数据存储与计算系统，所述分布式环境下对采集系统中海量数据的存储与计算系统包括，

运行框架1，为分布式计算、内存计算提供运行支撑；

核心应用服务层2，用于提供平台服务；

管理控制台3，为核心应用服务层2提供管理控制界面，提供的界面操作功能，监控平台核心应用服务层2中各组件的运行情况。

使得平台可扩展性大大增强，且对数据更加容易操作。

进一步地，所述核心应用服务层2包括集成封装201，集成封装201包括sqoop、impala、hbase、mapreduce、spark和hdfs交互API。