[发明专利]全闪存储中数据的分级聚合方法和装置

说明书

本申请涉及一种全闪存储中数据的分级聚合方法和装置；所述方法包括：将同一个卷内的原始数据进行第一级聚合，获得第一聚合数据块；将同一个线程内的多个所述第一聚合数据块进行第二级聚合，获得第二聚合数据块；判断所述第二聚合数据块是否满足预设的落盘条件；如果满足则直接将所述第二聚合数据块落盘；如果不满足则进行第三级聚合后再落盘。本申请的方案采用分级聚合的方式，尽量减少跨卷聚合和跨线程聚合的影响，降低数据聚合导致的系统开销和性能损耗；实现数据聚合过程中兼顾数据连续性、聚合性能和数据大小等要求，提高数据整体的聚合效果，降低数据聚合导致的系统性能损耗。

技术领域

本申请涉及计算机存储技术领域，具体涉及一种全闪存储中数据的分级聚合方法和装置。

背景技术

全闪系统是存储领域演进的一个重要方向，在全闪存储中采用的是全SSD的架构设计，为了适应SSD的工作方式，一般需要采用数据聚合的设计，即将主机下发的大量随机小块数据先合并成一个大块的连续数据，而后再将这一连续大块数据一次写入后端SSD中，从而获得更好的写盘性能和更低的写放大。SSD(Solid State Drives)即固态硬盘，固态硬盘是使用固态电子芯片阵列制成的硬盘，一般来说是由控制单元和存储单元(FLASH芯片)组成；SSD不用探头读取数据，而是逻辑电路读取数据，寻道时间接近于0，因此SSD的持续读写速度非常快。

相关技术中，在进行数据聚合的过程中，也会带来一定的问题。由于随机小块数据来自于各个卷，通常每个卷会工作在不同的线程上；因此如果只是简单地将所有卷的小块数据聚合在一块，则所有卷的数据在盘上将是完全打散的；这时如果某些卷中的数据在下发时是相对连续的，则无法将这些相对连续的数据整合在一起，也就无法在读取时实现大块读取，导致一定程度上影响到读性能。另一方面，由于不同的卷工作在不同的线程上，因此不同卷的数据在聚合过程中会不可避免地频繁出现跨线程工作的情况，这会导致额外的性能损耗，最终影响系统的性能表现。

发明内容

为至少在一定程度上克服相关技术中存在的问题，本申请提供一种全闪存储中数据的分级聚合方法和装置。

根据本申请实施例的第一方面，提供一种全闪存储中数据的分级聚合方法，包括：

将同一个卷内的原始数据进行第一级聚合，获得第一聚合数据块；

将同一个线程内的多个所述第一聚合数据块进行第二级聚合，获得第二聚合数据块；

判断所述第二聚合数据块是否满足预设的落盘条件；

如果满足则直接将所述第二聚合数据块落盘；如果不满足则进行第三级聚合后再落盘。

进一步地，所述将同一个卷内的原始数据进行第一级聚合，包括：

执行聚合操作，将同一个卷内的虚拟地址相邻的数据聚合在一起；

当执行聚合操作的时间达到预设的聚合周期时，停止聚合操作，聚合完成的数据块为第一聚合数据块；

执行下一次聚合操作。

进一步地，所述预设的聚合周期为50毫秒。

进一步地，所述将同一个线程内的多个所述第一聚合数据块进行第二级聚合，包括：

为每个线程配置一个独立的任务队列；

将同一个线程内的多个卷中已聚合好的第一聚合数据块放入所述任务队列；

从所述任务队列中取出若干第一聚合数据块进行聚合操作，获得第二聚合数据块；

进行下一次聚合操作。

进一步地，判断所述第二聚合数据块是否满足预设的落盘条件，包括：

根据所述第二聚合数据块的数据量大小，判断是否满足预设的落盘条件。