[发明专利]基于私有云大数据交互的企业数据服务总线构建方法

说明书

技术领域

本发明涉及网络技术领域，特别是一种企业用数据服务总线的构建方法。

背景技术

企业服务总线（Enterprise Service Bus，简称ESB）的概念是从面向服务体系架构（Service Oriented Architecture，简称SOA）发展而来的，为分散服务提供了交互、组合和治理的基础架构。SOA描述了一种IT基础设施的应用集成模型，其中的软件构架描述的对象是直接构成系统的抽象组件，各个组件之间的连接则明确和相对细致地描述组件之间的通讯，是一种定义清晰的层次化结构相互耦合；一个ESB就是一个预先组装的SOA实现，它包含了实现SOA分层目标所必需的基础功能部件。

近几年来，大数据技术的应用范围越来越广泛。在信息化的时代，各个领域都趋向于智能化、科技化。大数据技术研发出来的分布式处理的软件框架Hadoop、用来进行挖掘和可视化的软件环境、非关系型数据库等开源软件框架，在各行各业具有愈发广泛的应用。基于现有技术的发展，企业可以建构基于大数据的数据服务总线。

发明内容

本发明需要解决的技术问题是提供一种基于私有云大数据交互的企业数据服务总线的构建方法，使企业各类应用可以统一在大数据平台上进行数据流转交互，提高数据分析的灵活高效性。

为解决上述技术问题，本发明所采取的技术方案如下。

基于私有云大数据交互的企业数据服务总线构建方法，具体包括以下步骤：

1）软件部属

11）在裸的物理服务器上安装Linux操作系统，并部署基于容器的Hadoop大数据平台；

22）用容器镜像封装工具将所开发的应用进行封装成为标准的容器镜像，将所有容器镜像采用push命令上传至企业数据服务总线的私有仓库；

33）在大数据平台上用start命令启动容器，为每一个容器内的服务创建一个独立的进程隔离空间；

2）硬件部署

通过负载均衡设备以及应用服务器集群策略在生产区部署云平台系统，与互联网完全隔离；

3）平台部署

平台采用图形化管理界面安装，包括docker组件和kubernetes的一键安装，market和registry的部署；

4）应用部署

通过Web UI、REST API或者命令行一键安装和部署应用，自动根据服务的依赖性安装所需的其他服务组件。

上述基于私有云大数据交互的企业数据服务总线构建方法，步骤11）中所述的操作系统为CentOS或Redhat操作系统。

上述基于私有云大数据交互的企业数据服务总线构建方法，步骤12）中所述的容器利用namespace实现系统环境的隔离，利用Cgroup实现资源限制，利用镜像实现根目录环境的隔离。

由于采用了以上技术方案，本发明所取得技术进步如下。

本发明能够提供对SQL的统一支持，企业无需建构各种复杂技术混合架构的数据处理平台，通过内存计算、高效索引、执行优化和高度容错的技术，使得一个平台能够处理10GB到100PB的数据，并且在每个数量级上，其性能都比开源Hadoop版本快10x~100x倍，大大提高了数据分析的灵活高效性。本发明的应用范围可覆盖各种规模和不同数据量的企业，并且还可以伴随企业的业务数据增长，动态不停机扩容，避免MPP或混合架构数据迁移的棘手问题。

具体实施方式

下面将结合具体实施例对本发明进行进一步详细说明。

本发明使用容器技术有效地将企业各个业务系统原属于单个操作系统管理的资源都划分到孤立的组中，以此来调节各项业务的资源使用需求。这样容器可以在核心CPU本地运行指令，而不需要任何专门的解释机制，既不需要指令级模拟，也不需要即时编译，每个容器内运行一个应用，不同的容器相互隔离，容器之间建立通信机制；容器自身对资源的需求十分有限，远比虚拟机本身占用的资源少，因此其创建和停止都十分快速（秒级）。

传统的Oracle数据库以及大数据平台的各个组件，都可以依据固定的模板，创建成为一个个可以在云操作系统上运行的容器镜像，Oracle数据库以及大数据平台的各个组件都在容器内部运行，各种功能都可以通过接口来供使用者调用，以及实现不同平台和组件之间的数据交互。

基于分布式容器集群管理系统构建的服务器虚拟化私有仓库，可为大数据平台系统的各类应用、分布式计算和存储服务组件提供多租户隔离的容器资源调配管理、应用打包部署及SLA管理、作业调度管理以及统一运维监控管理。