[发明专利]一种车辆物联网云存储系统数据分组方法

说明书

一种车辆物联网云存储系统数据分组方法，涉及分布式数据管理技术领域，从车辆物联网分布式存储系统的访问特征入手，根据云存储系统数据访问的时间空间局部性，将具有强访问关联关系的数据进行分组。首先，通过模拟有限缓存空间下的数据的访问，获得缓存快照并建立缓存事务。其次，建立基于缓存事务的向量化数据访问特征，对数据进行初步分组。最后，以初步分组为点，数据间访问强度为边，按照访问强度从高到低的顺序建立关系图，动态的将形成的完全子图合并成数据分组。当数据分组中任何数据被访问时，其所在分组将被一起预取到缓存中。此方法减少了数据访问时的I/O次数和访问延时，整体上提升了车辆物联网云存储系统的数据读取效率。

技术领域

本发明涉及分布式数据管理技术领域，详细讲是一种I/O访问次数低，延时小的车辆物联网云存储系统数据分组方法。

背景技术

我们知道，车辆物联网分布式存储系统中保存着大量非结构化传感器数据，此类数据以独立的小文件形式存储在HDD中。针对车辆物联网数据在存储系统中的频繁读写导致的高延时，数据预取技术通过将具有访问关联性的数据提前加载至缓存，减少了数据读取过程中的磁盘I/O延时消耗。针对磁盘存储系统导致HDD设备I/O访问频率过高，数据合并存储技术通过将非结构化数据合并存储成大文件，减少了数据访问的I/O数量，从而提升存储系统数据访问并发量影响。但数据预取技术运算过程产生额外延时消耗，数据合并存储技术合并后的文件中数据关联性较低。现有车辆物联网存储系统的存储效率低。

发明内容

本发明的目的是解决上述现有技术的不足，提供一种I/O访问次数低，延时小的车辆物联网云存储系统数据分组方法。

本发明解决上述现有技术的不足所采用的技术方案是：

一种车辆物联网云存储系统数据分组方法，其特征在于包括如下步骤：

步骤一，收集车辆物联网云存储系统的(当前(10-50分钟)时刻起优选15分钟前的) 数据访问日志，得到数据历史访问序列；

步骤二，在车辆物联网云存储系统中建立FIFO缓存；

步骤三，按照(车辆物联网云存储系统的)数据历史访问序列顺序，将(车辆物联网云存储系统的数据)数据加入FIFO缓存，当FIFO缓存中替出数据总量不小于FIFO缓存空间时，将FIFO缓存中所有数据的块地址集合记为一次缓存事务，将替出数据总量重置为0，直到数据历史访问序列所对应的数据全部通过FIFO缓存，为(每次的)缓存事务((按产生的顺序) 依次)标记序号；

步骤四，分别查找数据访问日志中每个数据的块地址出现过的缓存事务，为每个数据构造数据访问特征的向量；

步骤五，计算全部数据间的访问特征的向量距离，如果两个数据间的向量距离小于两个向量的模的平均值的10％，将它们合并成一个初步分组；

步骤六，计算初步分组间访问关联关系强度，建立并初始化数据访问关系图；初始化的数据访问关系图为以初步分组为点的图；

步骤七，以初步分组间访问关联关系为边，将边依次加入初始化的数据访问关系图中(将全部初步分组的点连接成点线图)；如果将边依次加入初始化的数据访问关系图的过程中出现完全子图，立即将完全子图中的全部点合并成新的点，直到所有边全部加入初始化的数据访问关系图。

本发明中所述的FIFO缓存空间大小为存储节点运行时缓存空间大小的10％-100％；优选 40％-60％。

本发明步骤四中所述的分别查找数据访问日志中每个数据的块地址出现过的缓存事务的方法为：为缓存事务中的每个数据块地址建立倒排索引；获得每个数据块地址所在的缓存事务序号集合；所述为每个(任意一个)数据构造数据访问特征的向量的方法为：构造一个维数为缓存事务总数量的列向量，列向量的维度与缓存事务一一对应，列向量的维度的顺序与缓存事务序号顺序相同，出现该数据的块地址缓存事务所对应的列向量的维度的值设为1，列向量的其他维数的值记为0。