[发明专利]一种基于NVRAM的小文件读写加速方法和设备

说明书

本发明公开了一种基于NVRAM的小文件读写加速方法，包括在存储主机中执行以下步骤：响应于从应用主机接收到应用程序写申请，将写申请产生的若干小文件在内存中定长聚合成定长大文件，并将定长大文件写入写缓存加速区的第一NVRAM；第一NVRAM将定长大文件下刷到磁盘；响应于从应用主机接收到应用程序读申请，将读申请涉及的小文件所在的定长大文件提取到读缓存加速区的第二NVRAM；将小文件所在的定长大文件预读到内存中拆分，并将拆分后的小文件发送到应用主机。本发明还公开了一种计算机设备。本发明提出的基于NVRAM的小文件读写加速方法和设备通过对小文件写入的顺序整合和读写通过NVRAM分别分区进行加速，大幅提高了对于海量小文件读写场景的访问速度。

技术领域

本发明涉及数据存储领域，更具体地，特别是指一种基于NVRAM的小文件读写加速方法和设备。

背景技术

在大数据时代，海量小文件的读写滞后严重影响了业务，小文件的读写由于次数过多，严重影响了存储整体的性能。

发明内容

有鉴于此，本发明实施例的目的在于提出一种基于NVRAM的小文件读写加速方法和设备，在写入小文件时将不定长的小文件在CPU和内存进行整合，然后通过将整合后的大文件写入NVRAM，写入NVRAM即完成写返回，后续数据根据策略陆续下刷磁盘，使得小文件写入速度将得到大幅提高。

基于上述目的，本发明实施例的一方面提供了一种基于NVRAM的小文件读写加速方法，包括在存储主机中执行如下步骤：响应于从应用主机接收到应用程序写申请，将写申请产生的若干小文件在内存中定长聚合成定长大文件，并将定长大文件写入写缓存加速区的第一NVRAM；第一NVRAM将定长大文件下刷到磁盘；响应于从应用主机接收到应用程序读申请，将读申请涉及的小文件所在的定长大文件提取到读缓存加速区的第二NVRAM；将小文件所在的定长大文件预读到内存中拆分，并将拆分后的小文件发送到应用主机。

在本发明的基于NVRAM的小文件读写加速方法的一些实施方式中，响应于从应用主机接收到应用程序写申请，将写申请产生的若干小文件在内存中定长聚合成定长大文件，并将定长大文件写入写缓存加速区的第一NVRAM还包括：CPU通过算法将若干小文件定长聚合成大小为4M的定长大文件，该算法根据就近原则，将大小相近的小文件组合成小文件块，将大小相近的小文件块组合成大文件块，直到组合的大文件块大小达到4M，完成4M的定长大文件的聚合。

在本发明的基于NVRAM的小文件读写加速方法的一些实施方式中，方法还包括：响应于将定长大文件写入写缓存加速区的第一NVRAM，向应用主机反馈写完成信号。

在本发明的基于NVRAM的小文件读写加速方法的一些实施方式中，第一NVRAM将定长大文件下刷到磁盘还包括：根据所述定长大文件写入时间以及设置策略，将定长大文件设置为定期下刷到磁盘。

在本发明的基于NVRAM的小文件读写加速方法的一些实施方式中，将读申请涉及的小文件所在的定长大文件提取到读缓存加速区的第二NVRAM还包括：响应于存储主机从缓存中命中小文件，将小文件所在的定长大文件从磁盘预读到第二NVRAM。

在本发明的基于NVRAM的小文件读写加速方法的一些实施方式中，将读申请涉及的小文件所在的定长大文件提取到读缓存加速区的第二NVRAM还包括：响应于存储主机从内存或第二NVRAM命中小文件，向应用主机反馈读完成信号。

本发明实施例的另一方面，还提供了一种计算机设备，包括：至少一个处理器；以及存储器，存储器存储有可在处理器上运行的计算机指令，指令由处理器执行以实现如下步骤：响应于从应用主机接收到应用程序写申请，将写申请产生的若干小文件在内存中定长聚合成定长大文件，并将定长大文件写入写缓存加速区的第一NVRAM；第一NVRAM将定长大文件下刷到磁盘；响应于从应用主机接收到应用程序读申请，将读申请涉及的小文件所在的定长大文件提取到读缓存加速区的第二NVRAM；将小文件所在的定长大文件预读到内存中拆分，并将拆分后的小文件发送到应用主机。