[发明专利]一种数据存储方法、装置、计算机设备和存储介质

说明书

本文提供了一种数据存储方法、装置、计算机设备和存储介质，涉及大数据技术领域，可用于金融领域，方法包括：判定待存储数据的热度属性，热度属性为热数据、温数据或冷数据中的一种；若待存储数据的热度属性为热数据，则判断热数据存储单元的占用率是否小于第一阈值；若热数据存储单元的占用率大于或等于第一阈值，则将待存储数据存储于第一缓冲区；若热数据存储单元的占用率小于第一阈值，则将待存储数据存储于热数据存储单元。本文通过设置第一缓冲区的方式避免热数据存储单元达到其存储容量的极限造成崩坏，提高了数据存储安全性和可靠性；也避免了由于热数据存储单元的占用率较高、热数据存储需求得不到满足造成的数据存储污染问题。

技术领域

本发明涉及大数据技术领域，可用于金融领域，尤其是一种数据存储方法、装置、计算机设备和存储介质。

背景技术

在数据量爆炸增长的大数据时代，数据存储面临着巨大挑战。现有技术中，常根据数据的访问频率将数据分为热数据(即经常访问的数据)和冷数据(不常访问的数据)，再将热数据、和冷数据存储于分级存储结构中，以避免冷数据驻留于高性能存储层级中造成的存储资源浪费和存储污染。

但各行业领域数据存储场景不同，冷、热数据的占比不尽相同，而现有的分级存储结构其中热数据和冷数据的存储容量配比一般是固定的。固定配比的分级存储结构对于不同行业不同领域，适配性可能较差，若分级存储结构的冷、热数据容量之比与该行业领域的冷、热数据的比例有较大差异时，则会造成存储空间的浪费。

针对现有技术存在的上述缺陷，本文旨在提供一种数据存储方法、装置、计算机设备和存储介质，对各类数据起到动态的分级存储的作用，提高数据存储的灵活性。

发明内容

针对现有技术的上述问题，本文的目的在于，提供一种数据存储方法、装置、计算机设备和存储介质，以解决现有技术中固定存储容量的分级存储结构不能适用于各行各业的数据存储场景造成的存储空间浪费的问题。

为了解决上述技术问题，本文的具体技术方案如下：

一方面，本文提供一种数据存储方法，包括：

判定待存储数据的热度属性，所述热度属性为热数据、温数据或冷数据中的一种；

若所述待存储数据的热度属性为热数据，则判断热数据存储单元的占用率是否小于第一阈值；

若所述热数据存储单元的占用率大于或等于第一阈值，则将所述待存储数据存储于第一缓冲区；

若所述热数据存储单元的占用率小于第一阈值，则将所述待存储数据存储于所述热数据存储单元。

具体地，所述将所述待存储数据存储于第一缓冲区之后，所述方法还包括：

判断所述第一缓冲区的占用率是否小于第一门限值；

若所述第一缓冲区的占用率大于或等于第一门限值，扩充所述热数据存储单元。

进一步地，所述判定待存储数据的热度属性，包括：

获取所述待存储数据的访问频率和来源信息，所述来源信息包括所属行业信息、所属系统信息和所属应用信息；

根据所述访问频率和所述来源信息，判定所述待存储数据的热度属性。

具体地，所述方法还包括：

获取所述热数据存储单元内的第一已存储数据；

根据所述第一已存储数据的访问频率和来源信息，判断所述第一已存储数据的热度属性是否仍为热数据；

若所述第一已存储数据热度属性为温数据或冷数据，则将所述第一已存储数据迁移至温数据存储单元或冷数据存储单元。