[发明专利]分布式数据存储系统

说明书

本发明涉及一种分布式数据存储系统，包括处理器和存储有计算机程序的存储器，n组容器文件CF＝{CF₁，CF₂，......，CF_n}，当所述计算机程序被处理器执行时，实现以下步骤：步骤S100、获取待存储的文件大小Fsize0。步骤S200、将Fsize0与预设的文件大小阈值Q相比较，若Fsize0＝Q，则根据Fsize0从所述CF中选择目标容器文件组CF_xy，将所述待存储的文件存储到CF_xy中；步骤S300、获取CF_xy的剩余存储空间，若所述CF_xy的剩余存储空间为0，则将CF_xy作为一个文件进行分布式存储，释放所述CF_xy的存储空间。本发明提高了具有低频访问特点的小文件的存储效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种分布式数据存储系统。

背景技术

人工智能、物联网、传感器网络、科学实验等应用中均会产生大量数据，这些数据种类繁多，大小不一，不仅包括海量的大文件(大于预设的文件大小阈值Q)，也包括海量的小文件(小于预设的文件大小阈值Q)。特别是小文件的数量将达到千万级、亿级甚至十亿、百亿级。海量小文件体量庞大，但目前的分布式文件系统大都是匹配大文件场景的，对于海量小文件情况下，存储处理性能极差。

文件存储系统用于进行文件的读和写。分布式文件存储系统中，小文件如何进行读和写的优化，一直是研究的热点。但是现有的用于小文件存储的文件存储系统通常是兼顾文件的读和写的性能设计。但是，对于具有低频访问特点的小文件的存储，应该关注写性能，而不需要同时兼顾读性能，若同时兼顾两者，会导致文件存储效率低。因此，如何提高具有低频访问特点的小文件的存储效率成为亟待解决的技术问题。

发明内容

本发明目的在于，提供一种分布式数据存储系统，提高了具有低频访问特点的小文件的存储效率。

本发明提供了一种分布式数据存储系统，包括处理器和存储有计算机程序的存储器，n组容器文件CF＝{CF₁，CF₂，......，CF_n}，其中，CF_i为第i组容器文件，i＝1,2…n，每组容器文件包括一个或多个容器文件，CF_i＝(CF_i1，CF_i2，......)，每组容器文件CF_i对应的CF_ij都相同,j＝1,2…；所述CF_i的存储为顺序存储，所述CF_i为易失性文件，当CF_ij被文件填充满后，将所述CF_ij中当前存储的数据存储到非易失性存储介质上；所有CF_ij的存储空间均为固定值S，不同的CF_i对应的CF_ij的存储空间具有不同的原子存储块，所述原子存储块为CF_i的最小存储空间，所述CF_i的原子存储块的存储空间为A_i，A_i/A_i+1＝固定值，i的取值从1到n-1；

当所述计算机程序被处理器执行时，实现以下步骤：

步骤S100、获取待存储的文件大小Fsize0。

步骤S200、将Fsize0与预设的文件大小阈值Q相比较，若Fsize0＝Q，则根据Fsize0从所述CF中选择目标容器文件组CF_xy，将所述待存储的文件存储到CF_xy中；

步骤S300、获取CF_xy的剩余存储空间，若所述CF_xy的剩余存储空间为0，则将CF_xy作为一个文件进行分布式存储，释放所述CF_xy的存储空间。