[发明专利]一种基于分区表技术实现读写分离的大数据管理容灾方法

说明书

本发明提供一种基于分区表技术实现读写分离的大数据管理容灾方法，其包括以下步骤：步骤S1：根据范围分区、Hash分区、复合分区三种分区类型，建立相应分区表；步骤S2：对步骤S1建立的分区表创建索引；步骤S3：对数据库进切分成主数据库及从数据库；步骤S4：主数据库处理事务性操作，从数据库处理SELECT查询操作；步骤S5：将从数据库与主数据库进行同步。数据库的读写分离，这样多库同时存在，有效地防止了灾难的发生，提高了数据的稳定性与安全性；在数据性能方面，一方面均衡了I/O操作，合理分配物理磁盘空间，极大地提高了大数据查询的性能，另一方面便于数据的维护，增强了数据的可用性。

技术领域

本发明属于数据库管理应用领域，具体涉及一种基于分区表技术实现读写分离的大数据管理容灾方法。

背景技术

现代大数据软件开发应用场景中，大多使用oracle数据库软件作为数据存储的载体，而oracle数据库分区技术作为oracle数据库性能优化的一种重要手段和方法，对于应对大数据处理，提高数据的查询效率以及数据管理容灾备份具有重要的作用。

目前，在数据库的应用中，数据存储在单表中，所有的表对应计算机磁盘中的物理文件，由于数据库的设计问题，随着时间的推移，单表的数据量越来越多，数据查询的速度越来越慢，最终导致系统无法响应甚至奔溃。而分区表技术均衡了I/O操作，将不同的分区映射到磁盘，改善了数据查询的性能，增强了数据的可用性。

针对目前软件开发过程中，数据库设计作为重要的一环，存在数据库设计不完善，无法应对大数据存储，无法快速地进行灾难备份还原等问题，可以使用分区表技术来解决。

发明内容

本发明的目的是提供一种基于分区表技术实现读写分离的大数据管理容灾方法。

本发明采用以下技术方案：一种基于分区表技术实现读写分离的大数据管理容灾方法，其包括以下步骤：步骤S1：根据范围分区、Hash分区、复合分区三种分区类型，建立相应分区表；步骤S2：对步骤S1建立的分区表创建索引；步骤S3：对数据库进切分成主数据库及从数据库；步骤S4：主数据库处理事务性操作，从数据库处理SELECT查询操作；步骤S5：将从数据库与主数据库进行同步。

在本发明一实施例中，所述分区表包括以下操作：查询、插入、更新、删除记录、新增、合并以及删除分区。

在本发明一实施例中，分区表的索引包括创建局部索引和全局索引；当分区中出现许多事务并且要保证所有分区中的数据记录的唯一性时采用全局索引。

在本发明一实施例中，数据库的切分为物理切分，具体包括以下步骤：对数据通过物理切分规则将数据分布到不同的DB服务器上，物理切分规则包括为业务切分与功能切分，业务切分根据数据库在不同的业务应用场景中所处的层级进行切分，一个系统会包含多个业务专题，每个业务专题会拥有子专题，根据不同的业务专题进行DB服务器的分配；功能切分根据数据库在系统中所发挥的作用进行切分，系统中专题具有通用功能，根据功能的不同进行DB服务器的切分；通过路由规则路由访问特定的数据库，每次访问面对的就不是单台服务器了，而是多台服务器。

在本发明一实施例中，数据库的切分为数据切分，具体包括以下步骤：对数据通过数据切分规则，切分规则包括类型切分与时间切分；类型切分根据数据类型的不同进行切分，同类数据放在同一张表中，不同类数据拆分到不同表中；时间切分根据数据所处的时间段进行切分，根据数据量将数据按照年月日等不同时段进行数据分离,如此通过不同的规则将数据分布到一个数据库的不同表中。

在本发明一实施例中，所述数据库为oracle。

进一步的，步骤S5包括以下步骤：当主数据库有写库操作时，同步更新cache，每次读取先读cache再读DB；采用dataguard来负责主数据库和从数据库的数据同步。

进一步的，主数据库只有一个，从数据有多个。