[发明专利]一种大数据量信息存储与访问方法

说明书

技术领域

本发明涉及数据存储与访问技术领域，尤其涉及一种用于路测数据解码后及统计分析结果后的存储与访问方法。

背景技术

现有技术中，为实现B/S架构的应用平台对路测数据解码存储与统计分析，需要在服务器端实现解码后数据存储成二进制文件，并要对某些条件下的解码后数据，如一个省份的路测数据、一年时长的路测数据，进行统计分析，把统计分析结果存储成临时文件，客户端请求呈现所需的条件段时，从统计分析结果文件中读取相关数据并传回至客户端。但是现有技术统计数据所需的时间较长，统计的数据结果不够精确。

发明内容

本发明的目的在于设计一种新型的大数据量信息存储与访问方法，解决上述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种大数据量信息存储与访问方法，包括，

S1，数据存储：

对路测数据进行解码，将解码所述路测数据得到的信息进行分类组织并存储到索引文件和数据文件；

所述索引文件由不同存储类型的索引块组成，所述索引块包括所述数据文件中的偏移位置、数据块长度、起始索引序号和结束索引序号；

所述数据文件由数据块组成，一个所述数据块记录的条数为：所述索引块的结束索引序号-起始索引序号+1条；

所述索引文件和所述数据文件一一对应；

S2，数据访问：

查找数据块缓存列表，若查找到所需数据位置，则确定待访问的数据块；

若不能查找到所述数据块位置，则通过查找所述索引块对应的数据块确定所述数据块位置，若不能成功查找到所述索引块对应的所述数据块，则结束访问；若成功查找到所述索引块对应的所述数据块位置，则加载所述索引块对应的所述数据块，并将所述数据块添加到数据块缓存列表，确定待访问的数据块；

从确定的待访问的数据块中读出要访问的数据。

优选的，所述索引文件和所述数据文件均为二进制文件。

优选的，所述路测数据的存储格式版本能够向前兼容访问，具体包括三种兼容访问模式：

a、在程序中针对修改过的数据块兼容访问；

b、通过数据块中版本信息区分兼容访问；

c、通过新建存储类型区分，包括新添加数据块与索引块，通过索引文件中存在的存储类型ID兼容访问。

优选的，所述数据访问还包括：先在索引文件中查找要访问的采样点所处的索引块，然后通过索引块中的所述数据文件中的偏移位置在数据文件中读取数据块的长度，再按照所述数据块的格式还原成要访问的数据流。

优选的，所述数据块缓存在内存，并在内存中设置缓存存储所述数据块的数量。

优选的，所述设置缓存存储所述数据块的数量，具体为，能够存储的所述数据块的数量设定为3，包括上一个数据块、当前数据块和下一个数据块，当所述数据块的数量超过3时，对访问频率低的数据块进行清理。

优选的，所述数据文件为数据存储文件，当路测数据存满一个数据块时向所述数据文件写入一次，每向所述数据文件中写入一个所述数据块，同时向索引文件写入一个对应的索引块。

优选的，所述索引文件内容全部缓存在内存。

本发明的有益效果可以总结如下：

本发明的大数据量信息存储与快速访问方法，通过自定义组织数据块与索引块，定制适合特定功能的存储与快速访问方法，本发明能够很快地通过索引块对应数据块的长度、精确进行统计，统计出某类信息所有数据块的大小。

附图说明

图1是本发明的大数据量信息存储与访问方法流程图；

图2是本发明通过数据块和索引块查找数据的方法流程图。

具体实施方式

为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所述的本发明的大数据量信息存储与访问方法流程图，包括以下步骤：

本发明大数据量信息存储原理如下：

S1，数据存储：对路测数据进行解码，将解码所述路测数据得到的信息进行分类组织并存储到索引文件和数据文件；所述索引文件由不同存储类型的索引块组成，所述索引块包括所述数据文件中的偏移位置、数据块长度、起始索引序号和结束索引序号；所述数据文件由数据块组成，一个所述数据块的大小为：所述索引块的结束索引序号-起始索引序号+1条记录；所述索引文件和所述数据文件一一对应。

索引块内容有：