[发明专利]数据压缩中数据分段方法及设备

说明书

技术领域

本发明涉及网络通信技术，尤其涉及一种数据压缩中数据分段方法及设备。

背景技术

数据压缩是在数据的存储和传输中被广泛应用的一种技术。对于传输的数据而言，由于存在大量的冗余数据，发送端的网络设备对数据进行压缩之后再传输，可以有效地减少网络上传输的数据量，并降低传输时延。相应地，在接收端的网络设备首先需要进行解压缩。

目前数据传输的压缩技术可以分为两大类，一种是基于LZ(Lempel-Ziv)类算法的压缩技术，另一种称为冗余数据消除技术。其中，LZ压缩技术通常是发送端在数据块内部通过滑动窗口进行匹配，生成压缩字典并进行压缩，接收端生成相应的压缩字典并进行解压缩。冗余数据消除技术是利用数据传输过程中的存在大块的重复数据，由网络设备保存经过的大数据块，将其作为字典条目，在后续发送过程中，发现重复的数据块就使用字典中的短的编码索引进行替换。接收端根据收到的编码索引及所存储的字典条目将原始数据恢复出来。

如果把网络中传输的数据看作字节流，那么网络设备需要对经过的字节流进行适当的分段，把这些数据分段作为字典条目，以实现压缩。数据分段的长度对字典的使用效率及压缩比有影响，过大会降低字典的使用效率，过小会降低压缩比。

如果采用固定字节的分段方法，那么当某个分段的数据改变后，其后的数据分段的边界均将改变，使得根据后续数据分段建立的字典条目不能被有效利用。为了解决固定分段产生的问题，现有技术可以采用内容指纹(Fingerprint)的方式，采用大小为W的滑动窗口，在待处理数据流中滑动，其中可以是逐字节或者逐双字节的滑动，在每次滑动过程中，计算窗口中的数据块的内容指纹，当该内容指纹符合预定的规则时，将该窗口的滑动方向上的边界点作为分段点，否则继续滑动窗口继续计算内容指纹直到确定出分段点。

在实现本发明过程中，发明人发现现有技术至少存在如下问题：采用上述分段方法可能会造成数据分段的长度过大，过大的数据分段会导致匹配概率的下降，降低了字典的使用效率。

发明内容

本发明实施例是提供一种数据压缩中数据分段方法及设备，用以解决现有技术中存在的数据分段的长度多大的问题。

本发明实施例提供了一种数据压缩中数据分段方法，包括：

根据待压缩的数据流中当前未分段数据流的长度，获取与所述当前未分段数据流的长度对应的分段规则，其中，随着未分段数据流的长度的增加，对应的分段规则得到满足的概率单调递增，且，第一长度对应的分段规则得到满足时，第二长度对应的分段规则一定也得到满足，第一长度和第二长度为未分段数据流的长度，且第一长度小于第二长度；

采用所述分段规则对所述待压缩的数据流进行数据分段。

本发明实施例提供一种数据压缩中数据分段设备，包括：

获取模块，用于根据待压缩的数据流中当前未分段数据流的长度，获取与所述当前未分段数据流的长度对应的分段规则，其中，随着未分段数据流的长度的增加，对应的分段规则得到满足的概率单调递增，且，第一长度对应的分段规则得到满足时，第二长度对应的分段规则一定也得到满足，第一长度和第二长度为未分段数据流的长度，且第一长度小于第二长度；

分段模块，用于采用所述分段规则对所述待压缩的数据流进行数据分段。

由上述技术方案可知，本发明实施例通过获取与未分段数据流的长度对应的分段规则，并且当分段规则满足上述条件时，可以使得当该长度越大时，分段规则发生的概率越大，因此，更容易被分段，所以可以有效地控制数据分段的长度，提高了匹配概率及字典的使用效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明第一实施例的方法流程示意图；

图2为本发明第二实施例的方法流程示意图；

图3为本发明第三实施例的方法流程示意图；

图4为本发明实施例中第一数据流的数据分段示意图；

图5为本发明实施例中在第一数据流的基础上增加数据后的一种数据分段示意图；

图6a为本发明实施例中在第一数据流的基础上增加数据后的另一种数据分段示意图；

图6b为本发明实施例中在第一数据流的基础上增加数据后的再一种数据分段示意图；

图7为本发明实施例中第一数据分段示意图；

图8为本发明实施例中在第一数据分段增加数据后的示意图；