[发明专利]一种数据库的轻量级并发迁移方法

说明书

本发明公开一种数据库的轻量级并发迁移方法，涉及数据迁移技术领域。针对现有数据库迁移过程中出现的问题及存在的缺陷，采用技术方案包括：加载原数据库和目标数据库的配置，根据目标数据库类型加载相应的语法方言，并对配置进行语法校验；基于加载的配置，生成目标数据库的表、存储过程、函数、视图、索引、其他；根据操作系统的资源，动态控制线程开启数量，通过开启的线程对原数据库的数据进行并发迁移；迁移完成后，对原数据库和目标数据库进行默认校验和配置校验。本发明不采用第三方中间件，具有运行高效、使用成本低、易扩展、可配置化、弹性伸缩的优点，可以实现数据的轻量级快速迁移。

技术领域

本发明涉及数据迁移技术领域，具体的说是一种数据库的轻量级并发迁移方法。

背景技术

随着社会不断进步，计算机计算能力、数据存储量不断提高，各式各样数据存储和数据迁移的技术手段层出不穷，其中关系型数据库存储是普遍的存储方式。结合实际应用场景、数据量的大小，更改数据库成为一种普遍存在数据库数据存储的技术手段。如何对数据库进行快速、准确、弹性伸缩、自定义配置的迁移，是数据库迁移的重要环节，在数据库迁移之前和数据库迁移过程中需要进行各种校验、检查处理。数据库迁移可以通过人工从原数据库导出数据，创建目标数据库、将数据导入目标数据库；也可以通过硬件或是第三方中间件来进行数据迁移。这样需要投入更多的资金进行设备维护和软件的升级，以及维护的人力成本，应用过于依赖第三方硬件或软件，扩展性不够，如：第三方软件Navicat异构数据库迁移无法自动创建索引、表名、字段大小写等问题，无法满足多变的数据库迁移需求，可能会导致企业无法根据自己的业务场景个性化实现方式。另外，第三方硬件或软件通常情况下也会占用大量的服务器资源。

很多业务场景下，企业用户数据迁移场景比较单一、但具有多变性，需要能够具有定制化配置转换，第三方中间件很容易兼顾不到这些场景，还可能需要占用大量其他资源，但也无法满足需求；也有些企业用户数据库结构简单，迁移数据量较小，只要能快速、并发、稳定、可配置化、轻量级数据同步即可，使用三方中间件给企业造成人力、物力资源浪费。

发明内容

本发明针对现有数据库迁移过程中出现的问题及存在的缺陷，提供一种数据库的轻量级并发迁移方法，在不采用第三方中间件的前提下，具有运行高效、易扩展、可配置的优点。

本发明提供一种数据库的轻量级并发迁移方法，解决上述技术问题采用的技术方案如下：

一种数据库的轻量级并发迁移方法，其实现内容包括：

步骤S1、加载原数据库和目标数据库的配置，根据目标数据库类型加载相应的语法方言，并对配置进行语法校验；

步骤S2、基于加载的配置，生成目标数据库结构；

步骤S3、根据操作系统的资源，动态控制线程开启数量，通过开启的线程对原数据库的数据进行并发迁移；

步骤S4、迁移完成后，对原数据库和目标数据库的结构和数据进行校验。

具体的，执行步骤S1时，加载的配置包括：连接配置、默认规则配置、自定义扩展配置、扩展配置模板、校验配置，其中：

连接配置包括原数据库和目标数据库的连接信息、原数据库和目标数据库的类型，原数据库和目标数据库的连接信息又分别包括连接地址、端口、用户名、密码、数据库名；

默认规则配置是指原数据库类型和目标数据库类型定义的内置校验规则，包括对字段转换语法校验，对要创建的表、视图、存储过程、函数、触发器、序列的校验；

自定义扩展配置是指针对默认规则配置进行二次配置，实现配置的可自定义化，每个字段的校验是以数据字段为key校验，配置文件进行再次配置的时候也是以Key-Value对的方式提供，默认配置如果与自定义配置的Key相同，自定义配置覆盖默认配置；