[发明专利]一种把异构数据文件中的数据导入到数据库的方法

说明书

本发明提供了一种把异构数据文件中的数据导入到数据库的方法，包括获取配置信息，根据配置信息初始化文件搜索器、文件分配器、N个文件队列和N个文件入库任务；文件搜索器在指定路径下搜索数据文件，搜索到数据文件后进行有效性检查，然后把有效的数据文件交给文件分配器；文件分配器依据负载均衡算法把数据文件路径放入相应文件队列中；文件入库任务读取对应文件队列中数据文件并导入到数据库中。本发明通过负载均衡算法实现数据文件的并行导入，充分利用了硬件资源，大大提高存储效率。

技术领域

本发明属于计算机数据存储技术领域，尤其是涉及一种把异构数据文件中的数据导入到数据库的方法。

背景技术

在城市轨道交通能源管理系统领域，数据采集和存储作为基础性工作，其准确度和处理效率对于保证系统运行具有重要的作用。随着能源管理系统自身技术的发展，数据采集存储的数据种类多样化，并且数据量庞大，不仅要采集能源的相关数据(如电表、水表、燃气表等设备的能源数据)，还要采集周围环境信息等，包括各种传感器、重点用能设备或系统等。

能源管理系统的采集服务采用分布式架构，在每个车站设有采集服务，采集服务将采集的各种数据以源数据的形式传至中心平台；中心平台首先源数据进行各种统计分析，然后把各种源数据及统计分析的结果都缓存为异构数据文件(把数据内容和结构不同的文件称为异构数据文件)，最后对异构数据文件进行统一数据入库操作。

虽然现有存储技术中关于异构数据文件导入数据库的方案较多，但在城市轨道交通能源管理系统领域的匹配度不高，并且效率较低，因此，有必要提供一种把异构数据文件中的数据导入到数据库的方法，充分利用了硬件资源，大大提高存储效率。

发明内容

有鉴于此，本发明旨在提出一种把异构数据文件中的数据导入到数据库的方法，快速的把大量数据文件导入到数据库，充分利用硬件资源，提升数据库的性能。

为达到上述目的，本发明的技术方案是这样实现的：

一种把异构数据文件中的数据导入到数据库的方法，包括以下步骤：

A.获取配置信息，根据配置信息初始化文件搜索器、文件分配器、N个文件队列和N个文件入库任务；

B.文件搜索器在指定路径下搜索数据文件，搜索到数据文件后进行数据文件的有效性检查，然后把有效的数据文件交给文件分配器；

C.文件分配器依据负载均衡算法把数据文件路径分配到相应的文件队列中；

D.将数据均衡文件入库任务定时查询对应文件队列的数据，如果文件队列存在数据，则根据数据文件路径读取数据文件中的数据，并导入到数据库中；

E.如果数据文件入库成功，则压缩文件并移动到的文件备份路径中；如果失败则给出告警信息，并把文件移动到文件失败路径中。

进一步的，所述步骤A的配置信息包括：搜索数据文件的路径、需要入库文件的文件类型描述以及对应文件队列的最大深度、文件备份的路径、文件失败路径。

进一步的，每种所述文件类型创建一个文件队列和一个文件入库任务，为步骤C和步骤D根据文件类型归类入库做准备。

进一步的，所述的文件类型是根据数据文件名称的来划分的。

进一步的，所述步骤B中文件分配器用于对文件队列做周期性的健康检查，当发现故障文件队列时便动态的将它从文件队列群中剔除，以此来保证高可用性。

进一步的，所述步骤B中的数据文件采用SQlite数据库文件格式，其中包括一张管理表和多张源数据表。

进一步的，所述步骤C中负载均衡算法具体运算步骤包括：