[发明专利]一种把异构数据文件中的数据导入到数据库的方法

权利要求书

1.一种把异构数据文件中的数据导入到数据库的方法，其特征在于：包括以下步骤：

A.获取配置信息，根据配置信息初始化文件搜索器、文件分配器、N个文件队列和N个文件入库任务；

B.文件搜索器在指定路径下搜索数据文件，搜索到数据文件后进行数据文件的有效性检查，然后把有效的数据文件交给文件分配器；

C.文件分配器依据负载均衡算法把数据文件路径分配到相应的文件队列中；

D.将数据均衡文件入库任务定时查询对应文件队列的数据，如果文件队列存在数据，则根据数据文件路径读取数据文件中的数据，并导入到数据库中；

E.如果数据文件入库成功，则压缩文件并移动到的文件备份路径中；如果失败则给出告警信息，并把文件移动到文件失败路径中。

2.根据权利要求1所述的一种把异构数据文件中的数据导入到数据库的方法，其特征在于：所述步骤A的配置信息包括：搜索数据文件的路径、需要入库文件的文件类型描述以及对应文件队列的最大深度、文件备份的路径、文件失败路径。

3.根据权利要求2所述的一种把异构数据文件中的数据导入到数据库的方法，其特征在于：每种所述文件类型创建一个文件队列和一个文件入库任务，为步骤C和步骤D根据文件类型归类入库做准备。

4.根据权利要求3所述的一种把异构数据文件中的数据导入到数据库的方法，其特征在于：所述的文件类型是根据数据文件名称的来划分的。

5.根据权利要求1所述的一种把异构数据文件中的数据导入到数据库的方法，其特征在于：所述步骤B中文件分配器用于对文件队列做周期性的健康检查，当发现故障文件队列时便动态的将它从文件队列群中剔除，以此来保证高可用性。

6.根据权利要求1所述的一种把异构数据文件中的数据导入到数据库的方法，其特征在于：所述步骤B中的数据文件采用SQlite数据库文件格式，其中包括一张管理表和多张源数据表。

7.根据权利要求1所述的一种把异构数据文件中的数据导入到数据库的方法，其特征在于：所述步骤C中负载均衡算法具体运算步骤包括：

C1.为N文件队列{Y₁,Y₂,...,Y_N}都分配一个权重{w₁,w₂,...,w_N}；同时为文件队列的最大负荷率{F₁,F₂,...,F_N},文件队列的最大负荷率(F_i)等于权重w_i*文件队列最大深度T_i；

C2.当数据文件M_k到来后，首先计算M_k对应的文件队列Y_k的负荷率f_k，如f_k小于该文件队列的最大负荷率F_k时，则把M_k放到该文件队列Y_k中，结束。否则进入步骤C3；

C3.更新文件队列的负荷率{f₁,f₂,...,f_N}，计算方法为：

其中t_i为第i个文件队列中的深度；

C4.选取{f₁,f₂,...,f_N}中数值最小的f_t对应的文件队列Y_t，把数据文件M_k放到文件队列Y_t中。