[发明专利]在线压缩方法、装置、计算机设备及存储介质

说明书

本发明公开了一种在线压缩方法、装置、计算机设备及存储介质，其中，该在线压缩方法包括主副本服务器执行的如下步骤：获取客户端发送的数据写入请求，数据写入请求包括原始数据；对原始数据进行压缩，获取压缩数据，并将压缩数据写入对象存储设备中，压缩数据携带有压缩标签和压缩长度；基于原始数据获取对应的原始数据属性；采用单独的线程将压缩数据、压缩标签、压缩长度和原始数据属性传输给从副本服务器，节省压缩成本，提高压缩效率。

技术领域

本发明涉及计算机开发领域，尤其涉及一种在线压缩方法、装置、计算机设备及存储介质。

背景技术

在分布式存储中，为了提高数据的可靠性，往往采用多副本(包括一个主副本和多个从副本)的方法，将一个对象/文件保存在多副本对应的集群中的多个地方，如：ceph(分布式存储系统)中默认采用三副本(一个主副本和两个从副本)方案。但多副本存储加大了存储空间的占用，也增加了企业数据存储成本。为了降低数据存储成本，缩小存储空间的占用，很多分布式存储提供了压缩功能，如ceph在J版本引入bluestore并提供了在线压缩功能，但写入的每个副本数据都要在各自副本所在的存储节点压缩一次，加大了压缩成本，延长了压缩时间，降低了压缩效率。

发明内容

本发明实施例提供一种在线压缩方法、装置、计算机设备及存储介质，以解决副本数据在各自副本所在的存储节点都要进行压缩导致压缩成本大和压缩效率较低的问题。

一种在线压缩方法，应用于主副本服务器，包括：

获取客户端发送的数据写入请求，所述数据写入请求包括原始数据；

对所述原始数据进行压缩，获取压缩数据，并将所述压缩数据写入对象存储设备中，所述压缩数据携带有压缩标签和压缩长度；

基于所述原始数据获取对应的原始数据属性；

采用单独的线程将所述压缩数据、所述压缩标签、所述压缩长度和所述原始数据属性传输给从副本服务器。

一种在线压缩装置，包括主副本服务器，所述主副本服务器包括：

写入请求获取模块，用于获取客户端发送的数据写入请求，所述数据写入请求包括原始数据；

数据压缩模块，用于对所述原始数据进行压缩，获取压缩数据，并将所述压缩数据写入对象存储设备中，所述压缩数据携带有压缩标签和压缩长度；

数据属性获取模块，用于基于所述原始数据获取对应的原始数据属性；

数据传输模块，用于采用单独的线程将所述压缩数据、所述压缩标签、所述压缩长度和所述原始数据属性传输给从副本服务器。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述在线压缩方法。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述在线压缩方法。

一种在线压缩方法，应用于从副本服务器，包括：

获取主副本服务器通过单独的线程发送的压缩数据、压缩标签、压缩长度和原始数据属性；

若所述压缩标签为真，则获取所述压缩数据的实际长度，将所述实际长度和所述压缩长度进行比较；

若所述实际长度和压缩长度相等，则表示所述压缩数据接收成功；

将所述压缩数据写入对应的物理盘中，并根据所述原始数据属性更新元数据，将所述元数据中的对象逻辑地址和物理地址对应起来。

一种在线压缩装置，包括从副本服务器，所述从副本服务器包括：