[发明专利]一种海量历史数据的存储及索引方法

摘要

本发明公开了一种海量历史数据的存储及索引方法，属于实时历史数据库领域。该方法根据分布式文件系统将大文件进行分块存储的特点，给出了一种简单高效的海量历史数据文件的存储方法和一种高效的分布式索引机制。该存储方法可以保证满足当前海量历史数据文件的存储要求，更保证具有在线扩展的特性；索引机制可以实现对海量历史数据的快速访问，同时在系统进行资源扩展以后，即底层物理存储发生变化时，该索引在无需修改的情况下依旧可以实现对数据的查找功能。

主权项

一种海量历史数据的存储方法，其特征在于，该方法包括：A、从实时历史数据库获取与测点数字标识NID相对应测点的前一天全天的压缩数据，按时间升序连续排列构成一条测点历史数据记录的历史数据区，在所述历史数据区前加入该测点的元数据区信息构造一条测点历史数据记录R；B、判断中间数据文件FT的剩余空间是否小于R的长度RLEN，如果是，则向FT的剩余空间写入无效数据，并将FT中的整块数据追加写入历史数据文件F，从分布式文件系统返回的结果中获取本次写入数据所存入的文件块的全局数字标识BlockID，遍历保存测点数字标识的集合CID，每次取出一个测点数字标识赋值给临时变量TID，将日索引集合文件FTi的第TID个索引单元的文件块标识FileBlockID项的值置为BlockID，清空CID和文件FT，并执行步骤C；否则直接执行步骤C；C、将R写入FT，记录下R在FT中的起始偏移地址Offset，将Offset和RLEN分别写入日索引集合文件FTI的第NID个索引单元的数据偏移DataOffset项和数据长度DataLength项，将NID的值存入集合测点数字标识的集合CID；D、对NID的值执行加1操作，判断新NID对应的测点是否存在，若存在则执行步骤A；否则执行步骤E；E、向FT的剩余空间写入无效数据，将FT中的数据追加写入历史数据文件F，从分布式文件系统返回的结果中获取本次写入数据存入的文件块的全局数字标识BlockID，更新FTI，遍历CID，每次取出一个测点数字标识赋值给临时变量TID，将FTI中第TID个索引单元文件块标识FileBlockID项的值置为BlockID，将FTI的数据追加写入年索引文件FIDX。