[发明专利]一种通过矫正迁移模型进行数据迁移的方法及系统

说明书

本发明提出了一种通过矫正迁移模型进行数据迁移的方法及系统，该方法包括：导入迁移前的源数据；对源数据进行分块处理，得到分块处理后的数据；进行迁移模型预演，得到迁移模型预演数据；将相同的数据导入迁移模型，输出迁移模型输出数据；根据迁移模型预演数据及迁移模型输出数据，采用预设的比对计算模型计算得到比对结果；在比对结果中筛选出需要矫正的逻辑映射关系，其中，将比对结果大于或等于阈值的逻辑映射关系为正确，对比对结果小于阈值的逻辑映射关系进行矫正；利用矫正后的迁移模型重新导入数据，得到迁移模型输出数据并重新进行比对，直至比对结果大于或等于阈值；将逻辑关系全部正确的迁移模型及对应的迁移模型输出数据进行输出。

技术领域

本发明涉及大数据处理技术领域，尤指一种通过矫正迁移模型进行数据迁移的方法及系统。

背景技术

当前各大行业都存储有海量数据，在数据处理中，有的需要进行数据迁移操作，且在迁移的过程中需要根据特定需求进行数据转换，为了提高转换效率，都是通过软件代码实现，该软件代码称之为迁移模型，但是在实际过程中，如果未对迁移模型进行细致校验，则可能引起海量数据转换错误，偏离分析预期；如果迁移后数据作为进一步数据处理的基础数据，那么迁移模型实现的准确性会显得尤为重要。

在现有技术中，有提出关于系统之间、数据库之间的数据迁移的操作，但是，这些技术都是基于硬件方面的考虑，并未考虑逻辑映射数据变换的对数据迁移的影响，使得数据迁移的准确性和效率有待提升。

因此，亟需一种可以从逻辑映射数据变换的模型实现的数据迁移来提升数据迁移的准确性和效率的技术方案。

发明内容

为实现上述目的，本发明提出了一种通过矫正迁移模型进行数据迁移的方法及系统，该方案可验证迁移模型实现的准确性，通过矫正提高数据迁移模型实现的准确度，并且还通过手工迁移与自动化比对相结合，将逻辑映射模块化，提升数据模型比对效率以及数据之间逻辑映射关系的数据迁移效率。

在本发明实施例的第一方面，提出了一种通过矫正迁移模型进行数据迁移的方法，该方法包括：

导入迁移前的源数据；

对所述源数据进行分块处理，得到分块处理后的数据；

根据所述分块处理后的数据，进行迁移模型预演，得到迁移模型预演数据；

将相同的分块处理后的数据导入迁移模型，输出迁移模型输出数据；

根据所述迁移模型预演数据及迁移模型输出数据，采用预设的比对计算模型计算得到比对结果；

根据设置的阈值，在比对结果中筛选出需要矫正的逻辑映射关系，其中，将所述比对结果大于或等于所述阈值的逻辑映射关系为正确，对所述比对结果小于阈值的逻辑映射关系进行矫正；

利用矫正后的迁移模型重新导入数据，得到迁移模型输出数据并重新进行比对，直至比对结果大于或等于所述阈值；

将逻辑关系全部正确的迁移模型及对应的迁移模型输出数据进行输出。

在本发明实施例的第二方面，提出了一种通过矫正迁移模型进行数据迁移的系统，该系统包括：

源数据导入模块，导入迁移前的源数据；

迁移模型实现矫正模块包括：分块处理单元、迁移模型预演单元、数据导入单元、比对单元及迁移模型矫正单元；其中，

分块处理单元，用于对所述源数据进行分块处理，得到分块处理后的数据；

迁移模型预演单元，用于根据所述分块处理后的数据，进行迁移模型预演，得到迁移模型预演数据；

数据导入单元，用于将相同的分块处理后的数据导入迁移模型，输出迁移模型输出数据；