[发明专利]数据导入方法和装置

说明书

技术领域

本发明大体上涉及计算机信息系统领域，更具体地，涉及一种数据导入方法和装置，其基于用户习惯与配置，让用户将文件(Excel、Text等)中的业务数据方便智能地导入到信息系统中。

背景技术

数据导入就是把存储在文件系统中的外在数据，例如Excel或Text中的业务数据，导入到信息系统中。数据导入功能已经是信息系统中必备的功能，其重要性和使用频率都比较高。

以导入Excel文件为例，现在普遍的导入方案运行步骤是第一步选择一个Excel文件和要导入的数据库表，第二步建立Excel文件列和数据库表列的对应关系，第三步对数据进行预览和修改后导入到数据库中。

上面所述的导入方案中存在以下几个问题：

1)在第一步中选择数据库表时，由于可选择的数据库表可能很多，每次都要在备选表中去寻找选择。

2)在第二步做Excel文件列和数据库表列映射关系时，必须当双方列名完全相同时才会自动匹配，其余的列都必须手动匹配。由于用户的Excel文件在一定范围内是多种多样的，向同一个数据库表中导数据的Excel文件的列名可能有稍微的差别或使用同一事物的不同名称，而且和我们系统中的名称可能不一致，所以用户每次导入时都要一列一列的手动匹配，或者修改Excel文件的列名。当列比较多的时候会很麻烦，而且用户每次导入时都要做这样额外的工作。

3)在第三步中把Excel中的文件读入内存中后还要做很多操作比如预览数据，修改数据，做数据校验等。如果数据量比较大，几万条很多列的数据就会长时间占用内存，可能造成内存溢出或使其他程序运行受到影响。

发明内容

鉴于上述情况，本发明提供了一种数据导入方法和装置，其基于用户习惯与信息系统的配置来将数据导入到所述信息系统中。

根据本发明的一个方面，数据导入方法包括以下步骤：步骤S102，定义关于各个待导入数据库表的信息的词库并配置信息系统中导入数据量内存上限；步骤S104，根据待导入文件的文件名与词库，分析出待导入数据库表；步骤S106，根据待导入数据库表与词库，自动建立待导入文件的各列与待导入数据库表的各列之间的映射关系；以及步骤S108，根据信息系统的配置，将待导入文件中的数据导入到信息系统中。

在步骤S102中，在一存放区域中定义各个待导入数据库表的表名的别名和待导入数据库表的各列的别名，并且在每次导入数据时，选择用内存或临时表来暂时存储待导入文件的数据。

可选地，步骤S102还可以包括：在词库中预置一部分系统数据；以及用户修改或增加所述词库中的自定义数据，并且每次进行数据导入都更新所述自定义数据。

在步骤S104中，计算待导入文件的文件名与词库中的所有表名的相似度，并且根据相似度分析出待导入数据库表。

可选地，在步骤S104中还可以包括：如果分析出的数据库表并不是待导入数据库表，则用户通过手动调整得到待导入数据库表。

在步骤S106中，完全显示固定的待导入数据库表的各列，选择待导入文件中的各列，以使其与待导入数据库表的各列相对应，并且根据待导入数据库表的各列与待导入文件的各列之间的匹配程度来对待导入文件中的各列进行排序，其中，待导入文件的各列中与待导入数据库表的各列的列名匹配程度越高的列排序靠前，并且如果待导入数据库表中的一列与待导入文件的一列之间的匹配程度高于一预定值，则默认选中待导入文件中的列。

步骤S108中，根据系统信息配置的导入数据量内存上限，确定将待导入文件中的数据导入到内存中或者临时表中。

可选地，本发明的数据导入方法还可以包括以下步骤：预览待导入文件的数据并且对数据进行修改和校验；在数据被导入结束之后，信息系统将待导入文件的文件名作为当前导入的数据库表的一个别名存储到词库中；信息系统将待导入文件的各列与数据库表的各列的对应关系记录下来以更新词库，并记录下用户的习惯；以及当对词库进行更新时，如果一个数据库表的别名不超过一预置值，则直接加入表别名记录，否则删除最早加入的表名，以及如果数据库表的各列的别名不超过另一预定值，则直接入列别名记录，否则删除最早加入的列名。

根据本发明的另一个方面，数据导入装置包括：定义配置单元，用于定义关于各个待导入数据库表的信息的词库并配置信息系统中导入数据量内存上限；分析单元，用于根据待导入文件的文件名与词库，分析出待导入数据库表；对应单元，用于根据待导入数据库表与词库，自动建立待导入文件的各列与待导入数据库表的各列之间的映射关系；以及导入单元，用于根据信息系统的配置，将待导入文件中的数据导入到信息系统中。