[发明专利]一种基于应用层的数据库分布方法

说明书

技术领域

本发明涉及大数据的数据采集技术领域，具体地说是一种实用性强、基于应用层的数据库分布方法。

背景技术

随着社会的进步和信息化的不断发展，人们对数据的要求越来越高，企业信息化程度越来越精细，随之而来的是日益增加的庞大的业务交易数据量，给ERP系统建设带来了不小的挑战。为了减轻巨大的数据处理对数据库造成的压力，业界产生了分布式数据库的概念。然而，对于传统的SqlServer、Oracle数据库来说，对这种分布式集群的支持很有限，性能提升不明显。

减轻数据库压力的方式大致分为三种，数据库负载均衡、基于文件系统的分布式数据库及关系型数据库的分布。

1、数据库负载均衡。此技术主要针对关系型Oracle数据库，利用Rack的方式，增加数据库服务器节点，将数据计算分担到多个数据库服务器。这种技术，最多增加的4台数据库服务器节点，而性能提升仅为1.5倍，如果继续增加节点，对数据库性能已无提升空间。

2、基于文件系统的分布式数据库。如Hadoop分布式数据库架构，可将数据分布式存储在不同的数据库上面，各个节点的数据库数据量维持在一个较低的水平，然而，这种技术限于各数据库之间关系不密切，数据可以独立存在的情况，且数据库类型为非关系型的文件系统数据库。

3、关系型数据库的分布。关系型数据库，能够支撑复杂的数据应用，然而，对于关系型数据库，减少单个数据库数据处理压力的方式，在数据库层面没有很好的解决思路。通过应用层，可以很好的处理这种矛盾。通过应用层的划分及数据库节点映射，在执行数据操作时，自动连接不同的数据库节点，实现数据库的分布，降低单数据库节点的数据处理压力。

基于此，现提供一种可解决上述问题、性能提升明显、基于应用层的数据库分布方法。

发明内容

本发明的技术任务是针对以上不足之处，提供一种实用性强、基于应用层的数据库分布方法。

一种基于应用层的数据库分布方法，其具体实现过程为：

根据各业务系统的特点，提取业务维度，按照业务维度进行数据库划分，并创建对应的数据库节点；

在主库中，配置各分布数据库的连接dblink，同时，配置业务维度同数据库的映射表；

应用层根据业务维度信息，在对照表中查找对应的数据库；

根据已创建好的此数据库的连接dblink，执行业务操作。

所述数据库的连接具体配置过程为：首先定义主数据库连接各个分布数据库节点的dblink的名称及说明，供数据库连接映射定义用；在应用程序拼写数据库执行SQL时，根据此连接，将创建的dblink名称加入，从而定位SQL执行的对象所在数据库。

所述映射表的配置过程为：使用系统管理配置工具，配置服务器端的参数，该参数包括各个分布数据库连接配置表、业务维度同数据库连接的映射表。

业务维度同数据库连接映射表的具体配置过程为：在按照维度信息确定数据库的划分后，查找要用到的dblink时，根据维度信息，在此映射表中查找当前业务数据单位编号对应的数据库连接，然后再根据数据库连接，建立该单位业务数据所在的数据库的连接，进行相关数据操作。

应用层数据分布处理的具体过程为：应用层根据当前业务场景，确定业务维度数据值，并根据这些值，查找到所要连接的数据库，执行相应数据操作。

本发明的一种基于应用层的数据库分布方法，具有以下优点：

该发明的一种基于应用层的数据库分布方法根据获取业务维度同数据库映射信息，从应用层面使关系型数据库分布式部署成为可能，解决了由于数据处理压力而造成的系统应用的性能瓶颈；根据数据库分布配置表，来确定业务操作执行的数据库位置，从而使数据库做到了可无限制增加节点，使数据处理的压力得到分布，提升系统应用性能，实用性强，适用范围广泛，易于推广。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

本发明的提供一种基于应用层的数据库分布方法，通过数据采集客户端进行海量数据采集的方式进行数据采集。

其实现过程为：

根据各业务系统的特点，提取业务维度，按照业务维度进行数据库划分，并创建对应的数据库节点；

在主库中，配置各分布数据库的连接dblink，同时，配置业务维度同数据库的映射表；

应用层根据业务维度信息，在对照表中查找对应的数据库；

根据已创建好的此数据库的连接dblink，执行业务操作。