[发明专利]一种数据交换方法及平台

说明书

本发明公开了一种数据交换方法，包括：根据目标数据库的存储格式对抽取的数据进行预处理，采用内存映射的方式，将经过预处理的数据映射到内存中的临时数据库；采用多核多线程的方式，对所述临时数据库中的数据进行清洗和转换，将清洗和转换完成的数据存入内存中的临时目标数据库；采用内存映射方式将内存中的临时数据库映射到目标数据库进行存储，解决现有技术不能有效使用系统内存的问题。

技术领域

本申请涉及大数据处理领域，具体涉及一种数据交换方法，同时涉及一种数据交换平台。

背景技术

提高数据交换的高效率永远是涉及数据领域的软件产品孜孜不倦所追求的目标，各家厂商都有自己独特技术，技术好坏的评判标准主要看速度。

在相同的硬件环境下，实现数据交换的高效率，现有技术主要是通过提高CPU运行效率，或者对IO设备读写文件的算法和存取方式的改进这些技术来实现的。

现有技术虽然也是提高CPU运行效率，提高IO设备读写能力，但为了适应多任务处理和兼容性的原因，均采用保守的内存使用，而且为了方便普通用户使用，为了遵循易用至上原则，系统设置均不对使用内存直接进行管理控制，交由系统智能判定和控制，这就造成很多场景下配置内存大的计算机由于实际运行内存小造成资源浪费和性能低下，而配置内存小的计算机又运行缓慢。

发明内容

本申请提供一种数据交换方法，解决现有技术不能有效使用系统内存的问题。

本申请提供一种数据交换方法，包括：

根据目标数据库的存储格式对抽取的数据进行预处理，采用内存映射的方式，将经过预处理的数据映射到内存中的临时数据库；

采用多核多线程的方式，对所述临时数据库中的数据进行清洗和转换，将清洗和转换完成的数据存入内存中的临时目标数据库；

采用内存映射方式将内存中的临时数据库映射到目标数据库进行存储。

优选的，在根据目标数据库的存储格式对抽取的数据进行预处理，采用内存映射的方式，将经过预处理的数据映射到内存中的临时数据库的步骤之前，还包括：

根据系统资源预先对数据交换方法设置可用的系统资源。

优选的，所述根据目标数据库的存储格式对抽取的数据进行预处理的步骤之前，还包括：

从不同的数据源抽取不同格式的数据。

优选的，所述根据目标数据库的存储格式对抽取的数据进行预处理，包括：

获取目标数据库的存储格式；

将抽取的数据根据目标数据的存储格式进行预处理，获取与目标数据库的存储格式相同的数据。

优选的，对所述临时数据库中的数据进行清洗和转换，包括：

通过清洗去除临时数据库中的脏数据和不完整的数据；

对清洗后的数据，通过转换对临时数据库中的数据进行业务规则的计算和聚合。

本申请同时提供一种数据交换平台，其特征在于，包括：

系统监控模块，用于对数据交换平台的运行进行监控；

系统管理模块，用于对数据交换平台的权限、配置进行管理；

数据操作模块，用于对抽取的数据进行预处理，将经过预处理的数据映射到内存中的临时数据库；采用多核多线程的方式，对所述临时数据库中的数据进行清洗和转换，将清洗和转换完成的数据存入内存中的临时目标数据库；

数据存储模块，用于采用内存映射方式将内存中的临时数据库加载至目标数据库进行存储；同时对已存储的数据进行管理和清理；