[发明专利]混合编码的数据迁移方法、数据迁移装置和存储介质

说明书

本发明实施例公开了一种混合编码的数据迁移方法，其包括：对待处理文件的编码数据进行分析，获取待处理文件的编码数据的数据编码类型；基于编码数据的数据编码类型生成多个编码数据提取线程；使用各个编码数据提取线程，分别对编码数据进行编码数据提取操作，以得到多个具有单一数据编码类型的编码提取数据文件；对多个编码提取数据文件进行类型转换以及数据合并处理，以得到处理后的目标文件；将处理后的目标文件迁移到目标数据库中。本发明还提供一种混合编码的数据迁移装置，本发明具有较高的数据迁移效率以及较高的数据迁移准确率。

技术领域

本发明涉及数据处理领域，尤其涉及一种混合编码的数据迁移方法、数据迁移装置及存储介质。

背景技术

MySQL集开源、免费、使用便利以及高可靠性等诸多优点于一身而被广泛使用，据第三方权威评测机构DB-Engines提供的数据表明，MySQL多年来一直雄踞全球主要数据库系统(含商用和开源数据库系统)市场占有率前两位。MySQL单表最大限制早在3.X版本就已经突破了64PB，很多机构选用MySQL作为运营的大型信息系统的后台数据库管理系统。

底层操作系统或存储阵列的更换，以及MySQL数据库移植到其它厂商的数据库、基于MySQL的应用系统向其它应用系统提供数据交换与共享等服务，无一不需要使用到数据迁移操作。MySQL支持以西方拉丁语系为代表的单字节字符集编码和以我国汉字为代表的多字节字符集编码，总计支持超过40种细分类型的字符集编码。MySQL建表时缺省情况下采用latin1字符集，这在网站这种类型的应用系统中表现更为明显，部分应用系统由于已经运行多年，其间可能由于需要增加新的功能或者需要支持新出现的业务等而不断增加数据表，由于可能没有严格执行良好的系统开发、维护规范，以及应用系统开发人员的频繁流动等多种原因，导致MySQL应用系统在同一个数据库中，竟然同时存在了混合使用多种不同字符集编码的数据表，这会让传统的数据迁移工作极度困难。

无论是MySQL官方提供的久经考验的客户端工具mysqldump还是第三方开发商提供的一些著名的前端工具例如Navicat、MySQL-Front等等，在导出混合编码的数据库时，都会出现乱码问题，这些工具即使指定以某种具体的编码类型(例如utf8编码)导出数据库，也只能保证库中与导出时指定的编码类型一致的那些数据表可以被正确导出而不出现乱码，其它编码类型的表数据仍然是乱码。假设某个数据库dbname中存在N种不同类型编码的表，且每种类型的表数量都一样而且每个表的数据量都大致相同，那么当用上述传统方法导出数据时，仅能保证1/N的数据是正确无误的，其余(N-1)/N的数据都是乱码而无法使用。

发明内容

针对上述技术问题，本发明实施例提供了一种具有较高的数据迁移效率以及较高的数据迁移准确率的混合编码的数据迁移方法、数据迁移装置及存储介质；以解决现有的数据迁移方法及数据迁移装置中数据迁移效率较低且数据迁移的准确率较差的技术问题。

本发明实施例提供一种混合编码的数据迁移方法，其包括：

对待处理文件的编码数据进行分析，获取所述待处理文件的编码数据的数据编码类型；

基于所述编码数据的数据编码类型生成多个编码数据提取线程；其中编码数据提取线程与数据编码类型一一对应；

使用各个编码数据提取线程，分别对所述编码数据进行编码数据提取操作，以得到多个具有单一数据编码类型的编码提取数据文件；

对所述多个编码提取数据文件进行类型转换以及数据合并处理，以得到处理后的目标文件；

将处理后的目标文件迁移到目标数据库中。

在本发明所述的混合编码的数据迁移方法中，所述对编码数据进行编码数据提取操作的步骤包括：

逐行读取所述编码数据；

检测读取到的编码数据是否为文件内容数据；