[发明专利]数据导入方法及装置

说明书

本发明公开了一种数据导入方法及装置，涉及互联网技术领域，用于解决现有将数据文件导入目标存储系统的方式费时费力，效率较低的问题。本发明的主要技术方案为：获取业务需求，根据业务需求确定待导入的数据文件和目标存储系统，加载配置文件，根据配置文件获取待导入的数据文件，根据配置文件配置将数据文件导入目标存储系统所需的模板文件，通过模板文件将数据文件导入目标存储系统。本发明主要用于数据导入。

技术领域

本发明涉及互联网技术领域，尤其涉及一种数据导入方法及装置。

背景技术

在信息化时代，数据存储系统的种类越来越多，虽然每个系统都只负责处理自己的数据，但是在有些情况下这些存储系统不是相互独立的。在很多时候，工作人员根据业务的需求需要将从一个存储系统中查询得到的数据文件，导入到其他不同的存储系统中。根据业务需求将数据文件导入到不同的存储系统中，有利于对数据文件的归纳分类，更好的对数据文件进行存储。

目前的数据文件导入方式是：根据业务需求先进行数据文件的查询、目标存储系统的选择，然后建立数据文件和目标存储系统之间的映射关系，最后将数据文件通过编写的程序代码导入到目标存储系统中。当业务的需求不同时，将数据文件导入目标存储系统的程序代码也不同。例如，要将查询得到的a、b、c、d列及b、c、d、f列数据分别导入到数据库A中，就需要分别编写对应的程序代码；或者，要将查询得到的a、b、c、d列数据分别导入到数据库A和B中，需要的程序代码也会不同。可以看出，当业务量过多时，需要针对每一个业务需求进行分析、编写对应的程序代码，因此现有的将数据文件导入目标存储系统的方式费时费力，效率较低。

发明内容

鉴于上述问题，鉴于上述问题，本发明提供一种数据导入方法及装置，主要目的在于减少将数据文件导入目标存储系统所需要的时间，进而提高将数据文件导入目标存储系统的效率。

为达到上述目的，本发明主要提供如下技术方案：

一方面，本发明实施例提供了一种数据导入方法，该方法包括：

获取业务需求，根据业务需求确定待导入的数据文件和目标存储系统；

加载配置文件，根据配置文件获取待导入的数据文件；

根据配置文件配置将数据文件导入目标存储系统所需的模板文件；

通过模板文件将数据文件导入目标存储系统。

优选的，在加载配置文件之前，该方法还包括：

设置配置文件，配置文件包括数据源配置信息和目标输出配置信息；数据源配置信息包括数据源名称、获取数据文件的数据库、数据源的IP地址、查询数据文件使用的结构化查询语言和端口号；目标输出配置信息包括连接目标存储系统的服务器的相关参数、数据输入输出类型、目标存储系统和模板文件。

优选的，加载配置文件，根据配置文件获取待导入的数据文件，包括：

定义一个数据源参数对象；

加载配置文件，根据业务需求将配置文件中的数据源配置信息的各个参数赋值给数据源参数对象；

通过数据源参数对象获取待导入的数据文件。

优选的，根据配置文件确定将数据文件导入目标存储系统所需的模板文件，包括：

定义一个目标输出参数对象；

根据业务需求将配置文件中的目标输出配置信息的各个参数赋值给目标输出参数对象；

通过目标输出参数对象识别得到数据输入输出类型，根据数据输入输出类型配置将数据文件导入目标存储系统所需的模板文件。

优选的，在根据配置文件配置将数据文件导入目标存储系统所需的模板文件之前，该方法还包括：