[发明专利]一种数据迁移的方法

说明书

本发明公开了一种数据迁移的方法，采用Spark计算引擎读取数据并进行存储，将N个分区中的数据进行重新分区，重新分区后第i个分区中存储的数据均同时分别对应输入至第i个缓冲区，每个缓冲区基于阻塞队列实现。重分区结束后，每个分区都会启动两个线程，一个生产者线程、一个消费者线程，生产者线程遍历每个分区中的每一条数据并将其写入阻塞队列中，并根据数据库资源的的实时使用情况，动态的修改速度的阈值，然后根据阈值控制生产者线程将数据写入阻塞队列中的速度，在生产者线程将数据写入阻塞队列的同时消费者线程从阻塞队列中获取数据并将其写入至数据库中，从而完成数据的同步。本发明能够提高写入速度，从而提高迁移的速度。

技术领域

本发明涉及一种数据迁移的方法，属于大数据处理技术领域。

背景技术

数据迁移的目的是为了给有价值的数据匹配更适宜的存储环境，让其在生命周期的每个阶段更安全、更可靠、更有效的为客户服务。一切数据搬迁的过程在广义上都可以成为数据迁移。数据一生要经历生产、传输、计算、保存、归档和销毁的生命周期循环，同样，跟数据相关的设备需要配合数据实现其价值。互联网行业的发展要求厂商之间提供更好的数据可移植性和互操作性。

申请号为201711158991.6的专利申请公开了一种数据迁移的方法及装置，涉及电子商务领域，该专利申请加载数据迁移组件，并读取配置文件中记录的配置信息；从源数据库抽取待迁移的数据，并导入内存；运行所述数据迁移组件中的数据迁移逻辑，并根据所述配置信息确定目标库表；将所述待迁移的数据分配到所述目标库表。该专利申请能够提升数据迁移效率并降低成本。申请号为202110321312.2的专利申请公开了一种数据迁移方法、装置、存储介质及平台，涉及大数据处理技术领域。该方法应用于分布式大数据迁移平台，包括：将源数据库中的待迁移数据加载至分布式大数据迁移平台的Hive数据仓库中；在Hive数据仓库中，通过Spark引擎对所述待迁移数据进行数据转换，生成目标数据；将目标数据从Hive数据仓库中迁移至目标数据库中。该专利申请可以快速、高效地将源数据库中的数据迁移至目标数据库中，降低数据迁移过程中的对系统业务的影响。

上述两个现有的专利申请虽然能够高效提升数据迁移效率，但是在实际数据迁移过程中还需要考虑数据迁移对数据库所造成的影响。在实际的应用场景中，特别是利用Spark(Spark指Apache Spark，Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎)进行数据迁移的时候，由于长时间大数据量并发写入，如果不加以控制，长时间占用数据库大量的IO资源，则会影响数据库的性能，导致数据库相关的应用响应时间变长，进而影响用户体验，严重时甚至会导致数据库的宕机。基于这个原因，一般是错峰进行数据的迁移，如在应用系统不忙的时候如凌晨进行数据的迁移。但是这样会导致数据的时效性变差，迁移效率变低，另外若在迁移的过程发现数据库性能受到较大影响，为了不影响数据库相关的应用系统，则必须强制中断数据迁移任务，然后重新迁移，因为部分数据已经迁移到数据库中，这也将导致数据的不一致性。

发明内容

本发明的目的在于提供一种数据迁移的方法，在数据迁移的过程中，通过实时观测数据库的资源使用情况，根据数据库资源不同的使用情况设置不同数据传输的速度；在利用Spark计算引擎数据迁移的过程中，若发现当前数据实际的传输速度高于设置的速度，则降低写入的速度，若发现当前数据的实际传输速度低于设置速度，则自动提高写入速度，以维持数据库的稳定使其受到数据迁移的影响变小，以解决背景技术所述的数据不一致性的问题。本方法能够充分利用数据库的资源，在数据库资源使用率比较低的场景下，提高写入速度，从而提高迁移的速度，

本发明的目的通过以下技术方案予以实现：