[发明专利]一种数据自动转换与存储的方法及系统

权利要求书

1.一种数据自动转换与存储系统，该系统包括：

数据提取器，用于从不同的数据源中提取原始数据，传递给数据转换器；

数据转换器，将从不同的数据源提取的原始数据转换成特定的数据格式；

数据缓存器，与数据转换器相连，将数据转换器转换得到的数据结果组织成统一的数据结构，以数据表为单位来组织数据项，数据表包含维度、数据项和数据记录，维度用于描述和标识数据记录，数据记录中记录了具体的数据项值；

数据存储器，用于将数据缓存器中以数据表为单位组织的数据与关系型数据库中的物理表进行映射，最终将缓存数据写入对应的数据库表中，完成数据的存储；

执行调度器，根据系统配置文件对各个过程进行调度和控制。

2.如权利要求1所述的系统，其特征在于，数据提取器前端有一个数据提取接口库，支持多种数据提取方式，并预置了多种通用提取接口，并且具有良好的开放性，支持新接口动态库的动态接入。

3.如权利要求1所述的系统，其特征在于，数据提取器根据以下方式调用接口库中的接口进行数据的提取：针对实时数据库系统，通过集成不同实时数据库的API接口，配置对应的数据点位号来完成数据提取；针对以通用关系数据库作为数据存储的系统，提供标准SQL数据查询支持，通过编写SQL语句或者执行存储过程进行数据的提取；针对以数据文件并公开数据文件结构的系统，通过数据文件接口进行数据提取；针对不公开数据存储结构，但是提供数据通信接口的系统，通过编写接口适配器，再以插件形式集成到系统中来完成数据提取。

4.如权利要求1所述的系统，其特征在于，所述数据转换器进一步包括：

通用数据转换算法提供装置，其包含有该系统预定义的各种算法，对适用这些算法的数据进行转换处理；

高级语言在线编译环境提供装置，用于直接在编译环境中在线编写数据转换脚本，脚本编写完成后，编译器自动编译成可执行代码并缓存，供数据转换器调用进行数据转换；

数据转换算法插件集成环境提供装置，用于独立编写算法插件，按照插件环境规定的插件接口定义进行插件实现，将编写好的插件放到系统转换算法插件目录下，插件环境动态加载该插件，供数据转换器调用完成数据转换。

5.如权利要求1所述的系统，其特征在于，该系统进一步包括执行调度器，由其调度和控制系统的运行，他的执行依据是系统配置文件，根据转换周期配置判断是否启动一次转换存储，在一个转换存储周期中，依据数据提取配置进行数据提取，依据数据转换配置执行数据转换，依据数据存储配置完成数据存储。

6.一种数据自动转换与存储方法，该方法包括：

步骤1，从不同的数据源中提取原始数据，传递给数据转换器；

步骤2，将从不同的数据源提取的原始数据转换成特定的数据格式；

步骤3，将数据转换器转换得到的数据结果组织成统一的数据结构，以数据表为单位来组织数据项，数据表包含维度、数据项和数据记录，维度用于描述和标识数据记录，数据记录中记录了具体的数据项值；

步骤4，判断目标数据库中是否存在对应所述数据表的名称的数据库表，如果不存在则创建该名称的数据库表，然后判断对应维度名称的表字段是否存在，如果不存在则创建该维度名称的表字段，接下来判断对应数据项名称的表字段是否存在，如果不存在则创建该数据项名称的表字段，最后判断对应维度值组合的数据记录是否已存在，如果存在，则生成数据记录更新命令，如果不存在，则生成数据记录插入命令，命令执行后就完成了数据的存储。

7.如权利要求6所述的方法，其特征在于，在步骤1，针对实时数据库系统，通过集成不同实时数据库产品的API接口，配置对应的数据点位号来完成数据提取；针对以通用关系数据库作为数据存储的系统，提供标准SQL数据查询支持，通过编写SQL语句或者执行存储过程进行数据的提取；针对以数据文件并公开数据文件结构的系统，通过数据文件接口进行数据提取；针对不公开数据存储结构，但是提供数据通信接口的系统，通过编写接口适配器，再以插件形式集成到系统中来完成数据提取。