[发明专利]数据处理方法、装置、计算机设备及存储介质

说明书

本发明实施例涉及一种数据处理方法、装置、计算机设备及存储介质，包括：获取待存储的应用数据，以及将应用数据按照预设数据结构缓存在缓存盘对应的第一存储空间中；实时检测缓存盘的全部第一存储空间的数据存储状态；在所述数据存储状态为第一状态时，将第一状态对应的第一存储空间中存储的数据转存到主存盘对应的第二存储空间中；在所述数据存储状态为第二状态时，控制垃圾回收程序对所述第二状态对应的第一存储空间中存储的数据进行清除，由此，通过允许垃圾回收程序执行，但不允许垃圾回收过程中改变存储空间的数据存储状态，可以避免垃圾回收过程中出现缓存盘对数据存储不做处理引发业务中断以及时延较大的问题，提高数据处理效率。

技术领域

本发明实施例涉及计算机数据存储领域，尤其涉及一种数据处理方法、装置、计算机设备及存储介质。

背景技术

“数字化转型”近来成为各行各业的热词，它对业务(流程、场景、关系、参与人)进行重新定义，涉及到计算、存储、传输、交互等IT技术。其中，存储作为数字化转型的IT基座，数字化转型对存储的需求巨大，国际数据公司预计到2025年全球数据总量将达175ZB，因此，高性能、高可靠、低单位容量价格的存储系统成为存储业界的追求。IT系统中的性能瓶颈大部分来自于存储，但目前SSD的单位价格是HDD单位价格的10倍以上，大部分业务系统的IO模型都满足局部性原理，从而使用小容量的SSD作为大容量HDD的缓存(cache)，成为一部分业务系统的低成本加速存储的解决方案，满足高性能和低单位容量价格的要求。

块缓存(block cache，Bcache)是业界使用比较普遍的HDD加速解决方案，但Bcache中空间管理bucket状态机目前存在如下设计缺陷：bucket状态机为层次状态机，在进入第二层状态机后，会改变所有bucket状态，此时要求bucket不可淘汰重复使用，此时可用的bucket可能很多也可能很少。在出现大量随机小IO写情况下，进入第二层状态机时，在元数据垃圾回收(GarbageCollection，GC)过程中出现缓存空间淘汰流程无法启动，在无缓存盘空间时hang住写IO，在业务上表现为业务性能归零的情况，归零时间较长导致业务IO长时间不返回，有引发业务中断的风险。如图1所示，为现有的使用3节点ceph存储测试128并发8K随机写780秒，业务端统计有长达30s以上的归零时间。

发明内容

鉴于此，为解决上述技术问题或部分技术问题，本发明实施例提供一种数据处理方法、装置、计算机设备及存储介质。

第一方面，本发明实施例提供一种数据处理方法，包括：

获取待存储的应用数据，以及将所述应用数据按照预设数据结构缓存在缓存盘对应的第一存储空间中；

实时检测所述缓存盘的全部第一存储空间的数据存储状态；

在所述数据存储状态为第一状态时，将第一状态对应的第一存储空间中存储的数据转存到主存盘对应的第二存储空间中；

在所述数据存储状态为第二状态时，控制垃圾回收程序对所述第二状态对应的第一存储空间中存储的数据进行清除。

在一个可能的实施方式中，所述方法还包括：

在所述垃圾回收程序对全部第一存储空间进行巡检时，控制全部第一存储空间的数据存储状态不变。

在一个可能的实施方式中，所述方法还包括：

基于第一存储空间中存储数据对应的数据结构，确定所述缓存盘的全部第一存储空间的数据存储状态。

在一个可能的实施方式中，所述方法还包括：

获取所述数据结构中标识的数据存储位置；

若当前第一存储空间中存储的数据未存在于所述主存盘中，则确定当前第一存储空间的数据存储状态为第一状态；