[发明专利]一种实时数据装载方法及装置

权利要求书

1.一种实时数据装载方法，其特点在于，包括：

根据预配置的若干个扫描目录不间断扫描计量主站系统的待处理数据文件路径，获取到待处理文件，若任务预处理队列对应的待处理数量小于预设文件数时，将从所述扫描目录获取到的预处理文件添加到所述任务预处理队列中；

依次获取到所述任务预处理队列中的预处理文件，根据所述预处理文件的文件头生成对应的SQLLDR控制文件，将所述预处理文件的文件数据内容生成对应的SQLLDR数据文件；

若获取到Hbase数据库中与所述预处理文件主键匹配的装载文件，则根据所述装载文件判断对应的所述预处理文件是否需要更新到Hbase数据库和Oracle数据库中，若需要更新到所述Hbase数据库中，则通过外部调用SQLLDR将所述预处理文件更新到Hbase数据库中，若需要更新到所述Oracle数据库中，则通过外部调用SQLLDR将所述预处理文件更新到所述Oracle数据库中，若需要更新到所述Hbase数据库和所述Oracle数据库中，则通过外部调用SQLLDR将所述预处理文件更新到所述Oracle数据库和所述Oracle数据库中。

2.根据权利要求1所述的实时数据装载方法，其特征在于，所述将从所述扫描目录获取到的预处理文件添加到所述任务预处理队列中之后还包括：

若所述预处理文件为终端设备告警事件的数据文件，则将所述预处理文件发布至计量主站系统的告警处理模块和告警数据库中，使得所述告警处理模块对所述预处理文件进行处理。

3.根据权利要求2所述的实时数据装载方法，其特征在于，还包括：

若未获取到Hbase数据库中与所述预处理文件主键匹配的装载文件，则判断对应的所述预处理文件是否需要更新到Hbase数据库和Oracle数据库中，若需要更新到所述Hbase数据库中，则通过外部调用SQLLDR将所述预处理文件插入到Hbase数据库中，若需要更新到所述Oracle数据库中，则在所述Oracle数据库中构建对应的插入失败记录，若需要更新到所述Hbase数据库和所述Oracle数据库中，则通过外部调用SQLLDR将所述预处理文件插入到所述Oracle数据库中，并在所述Oracle数据库中构建对应的插入失败记录。

4.一种实时数据装载装置，其特点在于，包括：

第一扫描模块，用于根据预配置的若干个扫描目录不间断扫描计量主站系统的待处理数据文件路径，获取到待处理文件，若任务预处理队列对应的待处理数量小于预设文件数时，将从所述扫描目录获取到的预处理文件添加到所述任务预处理队列中；

第一获取模块，用于依次获取到所述任务预处理队列中的预处理文件，根据所述预处理文件的文件头生成对应的SQLLDR控制文件，将所述预处理文件的文件数据内容生成对应的SQLLDR数据文件；

第一更新模块，用于若获取到Hbase数据库中与所述预处理文件主键匹配的装载文件，则根据所述装载文件判断对应的所述预处理文件是否需要更新到Hbase数据库和Oracle数据库中，若需要更新到所述Hbase数据库中，则通过外部调用SQLLDR将所述预处理文件更新到Hbase数据库中，若需要更新到所述Oracle数据库中，则通过外部调用SQLLDR将所述预处理文件更新到所述Oracle数据库中，若需要更新到所述Hbase数据库和所述Oracle数据库中，则通过外部调用SQLLDR将所述预处理文件更新到所述Oracle数据库和所述Oracle数据库中。

5.根据权利要求4所述的实时数据装载装置，其特征在于，还包括：

第一发布模块，用于若所述预处理文件为终端设备告警事件的数据文件，则将所述预处理文件发布至计量主站系统的告警处理模块和告警数据库中，使得所述告警处理模块对所述预处理文件进行处理。

6.根据权利要求5所述的实时数据装载装置，其特征在于，还包括：

第二更新模块，用于若未获取到Hbase数据库中与所述预处理文件主键匹配的装载文件，则判断对应的所述预处理文件是否需要更新到Hbase数据库和Oracle数据库中，若需要更新到所述Hbase数据库中，则通过外部调用SQLLDR将所述预处理文件插入到Hbase数据库中，若需要更新到所述Oracle数据库中，则在所述Oracle数据库中构建对应的插入失败记录，若需要更新到所述Hbase数据库和所述Oracle数据库中，则通过外部调用SQLLDR将所述预处理文件插入到所述Oracle数据库中，并在所述Oracle数据库中构建对应的插入失败记录。