[发明专利]一种压缩策略选择方法及装置

说明书

本发明实施例公开了一种压缩策略选择方法及装置，包括：接收数据压缩信息；其中，所述数据压缩信息中携带待压缩数据的数据量信息；根据所述待压缩数据的数据量信息，确定所述待压缩数据的处理场景信息；根据所述待压缩数据的数据量信息和所述待压缩数据的处理场景信息，确定所述待压缩数据的压缩策略，可见，在本实施例中根据用户待压缩数据的数据量信息及用户的实际处理场景，能帮用户选择适合的压缩策略，从而使每个用户都根据自己的实际情况，选择最合适的、性价比最高的压缩策略。

技术领域

本发明涉及大数据技术领域，更具体地说，涉及一种压缩策略选择方法及装置。

背景技术

随着电子商务、社会计算、物联网等新应用的发展，促使相关数据的规模呈现出快速增长的趋势，大数据正改变着人们的生活、工作和思维方式。准确、高效地从大数据中挖掘出潜在的有用信息进而支持决策变得越发重要，并逐步成为数据科学领域关注的热点。分布式存储和计算平台Hadoop以分布式文件系统HDFS和分布式计算框架MapReduce为核心，已成为大数据处理领域事实上的标准。多年来，在磁盘存储容量快速增长的同时，磁盘I/O速度却未能成比例地加快；现有的网络带宽越来越难以满足人们的需求，I/O常常成为了磁盘与网络的性能瓶颈。

以HDFS作为分布式文件系统的Hadoop能实现PB级的海量数据存储，I/O问题更加明显，因此I/O操作的优化都有可能带来Hadoop性能的提升。而压缩可以减少存储数据所占用的磁盘空间，加速数据在网络和磁盘上的传输。因此，在处理大数据时，压缩是提升处理性能的重要手段。Hadoop作为一个比较通用的大数据处理平台，提供了对一些常见的重量级压缩方法的支持，以牺牲CPU时间的方式来提高I/O的性能。此外，很多厂家也针对Hadoop中HDFS特点，提供了面向大数据处理的硬件压缩卡，将压缩工作交由压缩卡CPU来完成，这样可以最大化的节省集群的CPU时间，但是这也往往带来了成本的上升。同时，针对MapReduce和应用的特点，可以在计算的不同阶段采取不同的压缩方式，最终形成一整套的压缩方式的组合，这里称之为压缩策略。

因此，如何根据用户的实际应用情况，选择最合适的、性价比最高的压缩策略是现在需要解决的问题。

发明内容

本发明的目的在于提供一种压缩策略选择方法及装置，以帮助用户根据实际应用情况，选择最合适的、性价比最高的压缩策略。

为实现上述目的，本发明实施例提供了如下技术方案：

一种压缩策略选择方法，包括：

接收数据压缩信息；其中，所述数据压缩信息中携带待压缩数据的数据量信息；

根据所述待压缩数据的数据量信息，确定所述待压缩数据的处理场景信息；

根据所述待压缩数据的数据量信息和所述待压缩数据的处理场景信息，确定所述待压缩数据的压缩策略。

优选的，根据所述待压缩数据的数据量信息和所述待压缩数据的处理场景信息，确定所述待压缩数据的压缩策略，包括：

根据所述待压缩数据的数据量信息，确定所述待压缩数据在不同压缩策略下的时间收益和/或空间收益；

根据所述待压缩数据的处理场景信息，及所述待压缩数据在不同压缩策略下的时间收益和/或空间收益，确定所述待压缩数据的压缩策略；其中，所述压缩策略为不压缩策略、软压缩策略和硬压缩策略。

优选的，根据所述待压缩数据的处理场景信息，及所述待压缩数据在不同压缩策略下的时间收益和/或空间收益，确定所述待压缩数据的压缩策略，包括：

当所述待压缩数据的处理场景信息为计算密集型应用场景时，根据所述待压缩数据的数据量信息，确定所述待压缩数据在所述不压缩策略下的第一压缩时间；

根据所述待压缩数据的数据量信息，确定所述待压缩数据在所述软压缩策略下的第二压缩时间；