[发明专利]一种基于大数据平台数据处理域构架方法

说明书

本发明涉及信息化建设领域，具体地来讲为一种基于大数据平台数据处理域构架方法，该方法包括：建立服务总线为服务提供者和服务调用者之间通过由各种点对点连接构成的公共通信总线进行通信；建立消息中间件用于不同应用系统之间进行通讯；建立统一数据访问服务，提供底层异构数据库的统一数据访问入口，将多个底层的物理数据库/存储的表按照业务的需要抽象为一个或多个逻辑数据库。本发明数据处理域通过服务总线、消息中间件实现系统间的服务集成架构，实现跨部门业务协同和逻辑数据共享为业务监测类应用提供灵活的多数据源访问，实现统一的数据监测。解决业务数据的冗余复制和多份存储，数据一致性和及时性无法保证的问题。

技术领域

本发明涉及信息化建设领域，具体地来讲为一种基于大数据平台数据处理域构架方法。

背景技术

数据处理域是公司生产经营管理过程中各类业务数据存储、处理、融合的中心，是源业务系统各个分散数据库的归并、发展与提升，为公司各业务应用提供逻辑统一的数据支撑，主要支撑业务处理类应用，由过去数据复制的业务集成方式转变为共享使用方式，实现企业级端到端流程的真正贯通，同时解决系统间数据集成及数据复制过程中存在的数据安全、效率低下和资源浪费问题，是推进业务流程贯通和数据共享，保障数据质量的关键，提升数据应用水平的基础，并逐步实现源端数据的干净透明。

数据处理域的建设有利于促进跨部门的业务协同和信息共享，实现源端数据干净透明。目前，跨部门业务集成以数据复制共享方式为主，造成业务数据的冗余复制和多份存储，数据一致性和及时性无法保证。

发明内容

本发明所要解决的技术问题在于提供一种基于大数据平台数据处理域构架方法，解决数据的冗余复制和多份存储，数据一致性和及时性无法保证。

本发明是这样实现的，

一种基于大数据平台数据处理域构架方法，该方法包括：

建立服务总线为服务提供者和服务调用者之间通过由各种点对点连接构成的公共通信总线进行通信；

建立消息中间件用于不同应用系统之间进行通讯；

建立统一数据访问服务，提供底层异构数据库的统一数据访问入口，将多个底层的物理数据库/存储的表按照业务的需要抽象为一个或多个逻辑数据库。

进一步地，所述统一数据访问服务包括数据访问组件、统一元数据管理组件、代理访问组件、元数据采集服务、以及数据管理组件，其中：

数据访问组件提供标准的JDBC驱动，上层业务应用对接，业务应用在启动时，进行初始化，向统一元数据管理获取该业务应用的需要的元数据信息；

统一元数据管理组件对应用、库表、状态、权限、和性能进行管理；

代理访问组件，提供给业务应用通过API访问底层数据；

元数据采集服务组件，对数据源元数据、数据库状态、查询引擎状态信息进行采集；

数据管理组件包括日志管理，管理统一访问服务平台的日志信息的管理。

进一步地，服务总线包括服务注册、服务目录、服务网关、服务路由、基础功能以及服务监控，所述服务注册从服务目录里获取服务信息；所述服务注册为服务路由提供服务与服务之间调用关系；所述服务路由为服务监控提供支撑；所述服务监控为服务网关提供调用监控信息；所述服务网关为服务路由提供通信I/O框架、数据序列化和异常处理基础信息。

进一步地，通过所述服务总线实现与外系统的同步交互和异步交互。

进一步地，所述消息中间件包括，消息订阅组件提供消息消费者对消息主题的订阅功能；消息发布组件提供消息生产者对消息主题的发布功能；消息队列组件提供消息的队列功能；消息路由组件提供消息的路由选择功能；以及消息缓存组件提供消息数据的缓存功能。