[发明专利]一种数据迁移方法及系统

说明书

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据迁移方法及系统。

背景技术

随着科技的发展，具有各种功能的应用系统的升级也越来越快，而在更换新的系统时，只需要将老系统中的数据迁移到新系统中即可，这一过程中需要引入数据转码技术实现数据转换，因此会在数据转码过程中，遇到特殊字符如不可见控制字符无法被兼容等问题，导致转码失败。

例如，对于主机EBDIC编码中，中文字段都是以OE开头，0F结束，但因为长度不够而造成截断发生时，往往0F是缺失的，由此按照UTF-8的编码方式进行处理时，将最后一个字段进行标识字符的替换，既为0x001A字符，其代表着ASCII码中常见的不可见控制字符“sub”。由于不可见控制字符“sub”的存在，会对账单打印、国际卡组织上传文件等造成格式不兼容错误，导致数据转码失败。

因此，亟需一种数据迁移方案，能够解决现有技术中进行数据迁移时存在数据转码失败的问题。

发明内容

有鉴于此，本发明的目的在于，提供一种数据迁移方法及系统，用以解决现有技术中进行数据迁移时存在数据转码失败的技术问题。

本发明还提供了一种数据迁移方法，所述方法包括：

读取源数据库中的目标数据；

以第一字符编码格式对所述目标数据进行第一字符转码处理，得到中间字符集；所述中间字符集中含有第一类型的字符和第二类型的字符；

以第二字符编码格式对所述中间字符集中第一类型的字符进行第二字符转码处理，所述第二字符编码格式与所述第一字符编码格式的编码范围不同；

将所述第二类型的字符和经过所述第二字符转码处理的第一类型的字符写入目标数据库。

上述方法，优选的，以第一字符编码格式对所述目标数据进行第一字符转码处理，得到中间字符集，包括：

以UTF-8(8-bitUnicodeTransformationFormat，万国码)编码格式对所述目标数据进行第一字符转码处理，得到第一类型的字符和第二类型的字符，所述第一类型的字符和所述第二类型的字符组成中间字符集；

相应的，所述以第二字符编码格式对所述中间字符集中第一类型的字符进行第二字符转码处理，包括：

以gb18030编码格式对所述第一类型的字符进行第二字符转码处理。

上述方法，优选的，以第二字符编码格式对所述中间字符集中第一类型的字符进行第二字符转码处理，包括：

基于第二字符编码格式，识别出所述中间字符集中的第一类型的字符；

将识别出的所述第一类型的字符均替换为目标字符。

上述方法，优选的，所述目标字符为空格字符。

上述方法，优选的，在以第二字符编码格式对所述中间字符集中第一类型的字符进行第二字符转码处理之后，所述方法还包括：

将所述第二类型的字符和经过所述第二字符转码处理的第一类型的字符写入文本文件。

本发明还提供了一种数据迁移系统，所述系统包括：

数据读取单元，用于读取源数据库中的目标数据；

第一转码处理单元，用于以第一字符编码格式对所述目标数据进行第一字符转码处理，得到中间字符集，所述中间字符集中含有第一类型的字符和第二类型的字符；

第二转码处理单元，用于以第二字符编码格式对所述中间字符集中第一类型的字符进行第二字符转码处理，所述第二字符编码格式与所述第一字符编码格式的编码范围不同；

字符写入单元，用于将所述第二类型的字符和经过所述第二字符转码处理的第一类型的字符写入目标数据库。

上述系统，优选的，所述第一转码处理单元包括：

UTF转码处理子单元，用于以UTF-8(8-bitUnicodeTransformationFormat，万国码)编码格式对所述目标数据进行第一字符转码处理，得到第一类型的字符和第二类型的字符，所述第一类型的字符和所述第二类型的字符组成中间字符集；

相应的，所述第二转码处理单元包括：

GB18030转码处理子单元，用于以gb18030编码格式对所述第一类型的字符进行第二字符转码处理。

上述系统，优选的，所述第二转码处理单元包括：

字符识别子单元，用于基于第二字符编码格式，识别出所述中间字符集中的第一类型的字符；

字符替换子单元，用于将识别出的所述第一类型的字符均替换为目标字符。

上述系统，优选的，所述目标字符为空格字符。