[发明专利]一种数据源间转换字段类型的校验方法

说明书

本发明特别涉及一种数据源间转换字段类型的校验方法。该数据源间转换字段类型的校验方法，映射器中对数据源源库中的字段和数据源目标库中的字段进行相互映射，并对映射结果进行校验；若数据源源库和数据源目标库属于同一种数据源，则映射结果应是何种字段类型就对应何种字段类型；生成专门的数据库对详细转换的校验进行储存，根据校验结果生成的校验表，从而使转换更加精准、便利，最大可能的减少异常数据的产生。该数据源间转换字段类型的校验方法，能够避免数据源源库和数据源目标库之间字段映射类型互相不匹配导致的数据传输失败，使转换更加精准、便利，最大可能的减少了异常数据的产生，保证了大量数据快速迁移的效率。

技术领域

本发明涉及数据汇聚技术领域，特别涉及一种数据源间转换字段类型的校验方法。

背景技术

数据汇聚，或者称作ETL，将不同的业务系统的数据加载到数据仓库中。数据汇聚有多种方式，按照数据汇聚的传输方式，可以分为文件传输、数据抽取、内容爬去和消息推送等方式。

数据汇聚系统是对分布式数据管道工具的产品化包装所形成的软件，主要包括集群监控，管道设计、管道管理、任务监控等功能。在管道设计界面，不同数据源在进行转换的过程中，由于字段类型的不同，传输过程中有可能会导致类型不匹配进而产生的异常数据、乱码等，导致数据转换未达预期目标。

基于上述问题，本发明提出了一种数据源间转换字段类型的校验方法。旨在校验不同数据源的字段类型是否可以转换，进而提醒用户转换结果可能出现的未知意外。

发明内容

本发明为了弥补现有技术的缺陷，提供了一种简单高效的数据源间转换字段类型的校验方法。

本发明是通过如下技术方案实现的：

一种数据源间转换字段类型的校验方法，其特征在于：在映射器中对数据源源库中的字段和数据源目标库中的字段进行相互映射，并对映射结果进行校验；

若数据源源库和数据源目标库属于同一种数据源，则映射结果应是何种字段类型就对应何种字段类型；同时，考虑到字节大小因素，生成专门的数据库对详细转换的校验进行储存，具体步骤如下：

第一步，建立一个数据表，用于储存数据源和字段类型；

第二步，通过循环代码生成每一种转换的情况；

第三步，通过SQL语句判断修改每种转换校验是否可行，校验结果分为三种true，warning和false；

true表示可以转换；warning表示警告，提示用户可能会产生异常数据；false则表示不可以转换，提示用户一定会产生异常数据；

根据校验结果生成的校验表，从而使转换更加精准、便利，最大可能的减少异常数据的产生。

Oracle数据源包含的字段类型有NUMBER，INTEGER，INT，SMALLINT，NUMERIC，DECIMAL，FLOAT，REAL，LONG，CHAR，NCHAR，VARCHAR，VARCHAR2，NVARCHAR2，CLOB，NCLOB，CHARACTER，TIMESTAMP，DATE，BIT，BOOL，BLOB，BFILE，RAW。

当数据源目标库为Oracle数据库时，数据源源库中的数值型字段类型映射Oracle数据库中的INTEGER，浮点型映射FLOAT，字符型映射VARCHAR，日期型映射TIMESTAMP；否则，转换的校验则为false。