[发明专利]面向海量小文件的并发处理方法、装置和存储介质

说明书

本发明公开了一种面向海量小文件的并发处理方法、装置和存储介质。该方法包括：接收多个节点对海量小文件的并发处理请求；基于并发处理请求，调用存储海量小文件的元数据块；为多个节点分别建立临时虚拟数据空间，并在临时虚拟数据空间中虚拟化元数据块得到第一虚拟数据块；接收多个节点在虚拟数据空间中对第一虚拟数据块进行虚拟处理生成的第二虚拟数据块，并整合第二虚拟数据块。由此，本发明实施例可以将单个元数据块虚拟化成多个临时虚拟数据块，使得原有的单一节点处理的小文件，可以在多节点上的临时虚拟数据空间并发处理，不仅可以降低硬件开销，而且可以大幅度提高对海量小文件处理效率。

技术领域

本发明涉及网络通信技术领域，尤其涉及一种面向海量小文件的并发处理方法、装置和存储介质。

背景技术

随着互联网的普及和移动第四代通信系统(the 4th Generation communicationsystem，4G)的高速发展，互联网上的数据信息正在成几何倍数增加。用户的分组无线服务技术(General Packet Radio Service，GPRS)话单等网络数据形成了海量高频率的小文件。在现阶段，用户对小文件的读取、存储、修改等操作较频繁。对小文件数据的访问、使用成为了很常见的数据处理形式。

相对于大文件的基于条带化技术进行切片，来提高用户对文件访问的并发性处理方式，由于小文件不利于条带化，传统的针对小文件的数据处理方法一般是采用将单个小文件存储在单个数据服务器上的方法。但是，当小文件的数量到达一定数量级之后，对小文件的大量地重复访问将会给数据服务器带来性能上的负担及输入/输出(input/output，I/O)瓶颈问题。由此，小文件无法同大文件一样先将数据切分到多个节点中，再通过提高并发任务的方式来提升数据处理的性能。

另外，对于大多数并行文件系统，一般是通过传统的锁机制来实现的。随着数据量越来越大，请求节点数增多，锁请求会造成锁争用，导致性能严重降低。因此，针对海量高并发小文件数据的处理仍然存在瓶颈。另外，针对多任务同时对于同一个数据块的读写操作，传统机制为了保障数据一致性，会等该数据块的锁解除后，再进行下一步操作，而无法并行处理。现有的串行处理方式造成磁盘效率急剧降低，另外，大量频繁的小文件读写容易减少底层存储的使用寿命。

如何面向海量小文件进行有效并发处理，并降低硬件开销，成为业界亟待解决的问题。

发明内容

为了能够对海量并发小文件进行有效并发处理，降低硬件开销，本发明实施例提供了一种面向海量小文件的并发处理方法、装置和存储介质。

第一方面，提供了面向海量小文件的并发处理方法。该方法包括以下步骤：

接收多个节点对海量小文件的并发处理请求；

基于并发处理请求，调用存储海量小文件的元数据块；

为多个节点分别建立临时虚拟数据空间，并在临时虚拟数据空间中虚拟化元数据块得到第一虚拟数据块；

接收多个节点在虚拟数据空间中对第一虚拟数据块进行虚拟处理生成的第二虚拟数据块，并整合第二虚拟数据块。

第二方面，提供了一种面向海量小文件的并发处理装置。该装置包括：

应用接口模块，用于接收多个节点对海量小文件的并发处理请求；

内核扩展模块，用于基于并发处理请求，调用存储海量小文件的元数据块；

临时虚拟空间模块，用于为多个节点分别建立临时虚拟数据空间，并在临时虚拟数据空间中虚拟化元数据块得到第一虚拟数据块；

协同工作模块，用于接收多个节点在虚拟数据空间中对第一虚拟数据块进行虚拟处理生成的第二虚拟数据块，并整合第二虚拟数据块。

第三方面，提供了一种面向海量小文件的并发处理装置。该装置包括：