[发明专利]数据存储方法、装置、系统、电子设备及可读存储介质

说明书

本申请提供一种数据存储方法、装置、系统、电子设备及可读存储介质，该方法包括：获取待存储数据；根据待存储数据的类型，在预设的磁盘组中确定待存储数据对应的目标磁盘组；磁盘组包括具有不同存储策略的第一磁盘组和第二磁盘组；按照与目标磁盘组对应的存储策略将待存储数据存储到目标磁盘组中。这样，通过预先为磁盘组设定不同的存储策略，使得在实际应用中，可以在不同磁盘组中按照不同类型的数据的重要性，采用不同的磁盘组存储分别针对性的存储不同重要性的数据，可以实现对于不同数据的按需存储，提高分布式存储系统存储资源的有效利用率。同时由于各磁盘组各自对应存储的是相应类型的数据，因此也便于对分布式存储系统进行存储管理。

技术领域

本申请涉及存储技术领域，具体而言，涉及一种数据存储方法、装置、系统、电子设备及可读存储介质。

背景技术

目前，在一个分布式存储系统中，通常采用以下存储方式中的一种：

1、使用副本的方式进行存储：通过将原始数据在不同的物理设备上复制备份来达到对数据存储保护的作用。

2、使用实时EC(erasure coding，纠删码)方式进行存储：实时将收到的数据后先在内存里缓存，达到一定数据量后将缓存在内存里的数据分块，根据配置的N+M纠删模型使用纠删算法对N个原始数据块进行纠删编码生成为M个冗余数据块，最后将N个原始数据块和M个冗余数据块存储在不同的物理设备上来达到对数据存储保护的作用。

3、使用RAID(Redundant Arrays of Independent Disks，磁盘阵列)卡对数据进行存储保护。

但是，以上方式各自都有不足。比如：

副本存储的方式的空间利用率是1/N，N为副本数，比如3副本的空间利用率只有33.3％，而图像大数据处理领域中，涉及的图像数据是海量的，因此使用这种方式来存储图像数据，成本耗费非常大。

而实时EC存储方式，由于要先把数据在内存里缓存，这时如果程序崩溃，内存里缓存的数据将全部丢失，而在图像大数据处理领域中，新产生的数据非常重要，丢失新产生的数据是很严重的问题。另外在使用纠删算法对数据编码计算的过程也十分耗资源和时间，因此会降低存储系统的读写性能。

而RAID卡存储方式中，RAID卡只能基于一个设备内磁盘间的数据进行存储保护，无法基于多个设备结点间的数据进行存储保护。RAID卡只在双副本或者N+1的纠删模型的使用方式上支持相对好些，其余情况下使用效果并不理想，且RAID卡在扩展和数据恢复上非常困难耗时。

因此，现有技术中的存储方式对于分布式存储系统的存储资源并不能实现有效的利用。

发明内容

本申请实施例的目的在于提供一种数据存储方法、装置、系统、电子设备及可读存储介质，用以解决现有分布式存储系统的存储资源并不能有效利用的问题。

本申请实施例提供了一种数据存储方法，包括：获取待存储数据；根据所述待存储数据的类型，在预设的磁盘组中确定所述待存储数据对应的目标磁盘组；所述磁盘组包括具有不同存储策略的第一磁盘组和第二磁盘组；按照与所述目标磁盘组对应的存储策略将所述待存储数据存储到所述目标磁盘组中。

在上述实现过程中，通过预先为磁盘组设定不同的存储策略(即数据存储方式)，使得在实际应用中，可以在不同磁盘组中按照不同类型的数据的重要性，采用不同的磁盘组存储分别针对性的存储不同重要性的数据。比如，重要性高的参考库数据，即可以使用采用副本方式的磁盘组进行存储，以提高访问效率以及数据的存储可靠性；而对于其余一些重要性不那么高的数据，如摄像机抓拍数据，则可以使用采用纠删码方式的磁盘组进行存储。这样，即可以实现对于不同数据的按需存储，提高分布式存储系统存储资源的有效利用率。同时由于各磁盘组各自对应存储的是相应类型的数据，因此也便于对分布式存储系统进行存储管理。