[发明专利]一种实时数据装载方法及装置

摘要

本发明公开了一种实时数据装载方法及装置，本发明中，通过外部调用SQLLDR将预处理文件更新到数据库中，并考虑到了数据变更新情况，通过后置过程将与预处理文件主键匹配的装载文件捕获出来，并将需要装载的预处理文件更新到系统中，确保了高速装载性能的同时，满足了数据正确性的需求，解决了现有技术中对于计量化系统的数据装载，由于采集任务与数据存储结构的不一致性，将导致同一条记录的不同数据项到达主站系统的时间不一致，在数据合并时，存在时间差，且由于现场设备、网络环境等多方面的原因，同一个采集数据项，有可能发生多次重复采集数据上送等情况，同一个时间点的数据，不同时间采集的数据有可能不一致的技术问题。

主权项

一种实时数据装载方法，其特点在于，包括：根据预配置的若干个扫描目录不间断扫描计量主站系统的待处理数据文件路径，获取到待处理文件，若任务预处理队列对应的待处理数量小于预设文件数时，将从所述扫描目录获取到的预处理文件添加到所述任务预处理队列中；依次获取到所述任务预处理队列中的预处理文件，根据所述预处理文件的文件头生成对应的SQLLDR控制文件，将所述预处理文件的文件数据内容生成对应的SQLLDR数据文件；若获取到Hbase数据库中与所述预处理文件主键匹配的装载文件，则根据所述装载文件判断对应的所述预处理文件是否需要更新到Hbase数据库和Oracle数据库中，若需要更新到所述Hbase数据库中，则通过外部调用SQLLDR将所述预处理文件更新到Hbase数据库中，若需要更新到所述Oracle数据库中，则通过外部调用SQLLDR将所述预处理文件更新到所述Oracle数据库中，若需要更新到所述Hbase数据库和所述Oracle数据库中，则通过外部调用SQLLDR将所述预处理文件更新到所述Oracle数据库和所述Oracle数据库中。