[发明专利]支持多文档格式的自适应数据加载方法

摘要

本发明涉及数据科学处理、演算、归纳和加载，具体讲是涉及支持多文档格式的自适应数据加载方法。针对数据库中资料的组织形式与原始数据文件组织形式的异构问题，提供从原始数据到数据库的映射。并且当加入新的数据类型时用户可以动态添加新型切割器，最终将用户提供的数据文件加载到数据库中，以便于用户的查询管理，减少人力物力的损耗。为达到上述目的本发明采用的技术方案是，包括：文件切割方法：把原始数据文件拆分成若干个小文件；配置文件方法：配置文件用于让程序知道当前处理的这类原始数据文件要用哪一个切割器来切割，数据加载方法：完成数据的加载，采用桥模式的设计模式方法及模板库方法。本发明主要应用于数据处理。

主权项

一种支持多文档格式的自适应数据加载方法，其特征是，包括：文件切割方法：把原始数据文件拆分成若干个小文件，从而实现数据文件与数据库中表的一一对应，每一类原始数据文件需要对应一个文件切割器来将其切割成若干个与数据库中表一一对应的小文件；配置文件方法：配置文件用于让程序知道当前处理的这类原始数据文件要用哪一个切割器来切割，另外，配置文件还要告知程序，切割后的小文件，哪一个文件对应哪一张表，以及此文件中的数据与表中字段的对应关系，以及各个表之间的父子关系；数据加载方法：通过配置文件将切割后的小文件中的数据加载到数据库中对应表中，从而完成了数据的加载；设计模式方法：是桥模式，具体指，数据按照领域划分，每个领域都对应的加载器，切割器按文件格式分类，每一个加载器负责加载一个领域文件夹，在每一个最底层的文件夹下存放的是数据文件和相关spec文件，spec文件指定对应数据文件所使用的切割器；模板库方法，用于存放各种切割器的模板，当需要时，用户只需要根据新加入类型的数据的格式去选择相应的切割器模板，然后填写相应的参数，程序就会为用户自动生成一个新的切割器。