[发明专利]用于存储数据的方法和装置

说明书

本公开实施例公开了用于存储数据的方法和装置。该方法的一具体实施方式包括：接收分片数据和压缩建议信息；响应于确定压缩建议信息包括压缩指导信息，执行以下存储步骤：确定是否对分片数据进行压缩；响应于确定对分片数据进行压缩，使用压缩算法信息对应的压缩算法对分片数据进行压缩，得到分片数据的压缩数据；响应于确定压缩数据的长度与目标压缩长度相匹配，执行以下第一存储步骤：对压缩数据进行纠删码编码得到第一编码数据，以及将第一编码数据、压缩算法信息和分片数据的标识关联存储。该实施方式实现了在对分片数据进行纠删码编码之前根据压缩指导信息对分片数据进行压缩，从而节约了数据存储空间，降低了数据存储成本。

技术领域

本公开实施例涉及计算机技术领域，具体涉及用于存储数据的方法和装置。

背景技术

计算机通过文件系统管理、存储数据，而信息爆炸时代中人们可以获取的数据成指数倍的增长，这对数据的管理和存储也提出了越来越高的要求。通常，为了保证数据的高可靠性和高可用性，会对数据作冗余存储。这样虽然可以提高数据的可靠性，但是随着数据量的增大，存储空间有限、存储成本高等问题逐渐凸显。

发明内容

本公开实施例提出了用于存储数据的方法和装置。

第一方面，本公开实施例提供了一种用于存储数据的方法，该方法包括：接收分片数据和压缩建议信息，其中，上述压缩建议信息包括不压缩指示信息或压缩指导信息，其中，上述压缩指导信息包括压缩算法信息和目标压缩长度；响应于确定上述压缩建议信息包括压缩指导信息，执行以下存储步骤：确定是否对上述分片数据进行压缩；响应于确定对上述分片数据进行压缩，使用上述压缩算法信息对应的压缩算法对上述分片数据进行压缩，得到上述分片数据的压缩数据；响应于确定上述压缩数据的长度与上述目标压缩长度相匹配，执行以下第一存储步骤：对上述压缩数据进行纠删码编码得到第一编码数据，以及将上述第一编码数据、上述压缩算法信息和上述分片数据的标识关联存储。

在一些实施例中，上述存储步骤还包括：响应于确定不对上述分片数据进行压缩或者确定上述压缩数据的长度与上述目标压缩长度不匹配，执行以下第二存储步骤：对上述分片数据进行纠删码编码得到第二编码数据，以及将上述第二编码数据和上述分片数据的标识关联存储。

在一些实施例中，上述方法还包括：响应于确定上述压缩建议信息包括不压缩指示信息，执行上述第二存储步骤。

在一些实施例中，上述确定是否对上述分片数据进行压缩，包括：预测使用上述压缩算法信息对应的压缩算法对上述分片数据进行压缩所使用的时间；响应于确定上述时间大于或等于预设阈值，确定不对上述分片数据进行压缩；响应于确定上述时间小于上述预设阈值，根据运行状态信息确定是否对上述分片数据进行压缩。

在一些实施例中，上述分片数据和上述压缩建议信息是通过以下方式确定的：判断所获取的原始数据是否进行压缩，基于判断结果生成压缩建议信息；将上述原始数据进行数据分片，得到至少一个分片数据。

在一些实施例中，上述方法还包括：接收数据获取请求，其中，上述数据获取请求包括目标标识；根据上述目标标识从所存储的数据中确定目标数据，其中，目标数据包括编码数据和标识；响应于确定上述目标数据中还包括压缩算法信息，对上述目标数据中的编码数据进行解码，以及使用与上述目标数据中的压缩算法信息对应的压缩算法对解码后的编码数据进行解压，将解压得到的数据进行发送；响应于确定上述目标数据中不包括压缩算法信息，对上述目标数据中的编码数据进行解码，并将解码得到的数据进行发送。