[发明专利]待发送数据预处理方法

说明书

本发明提供了一种待发送数据预处理方法，利用标签数据库，对输入的数据S，确定一个起点A，使用A到S尾部的数据生成待处理数据串S1，使用S首部到A前一个位置的数据生成一级标签数据串S2；判断S1的长度是否大于最小标签的长度，如果大于，使用S1扫描第一数据库；再判断是否找到匹配的数据段，如果找到，将数据段的标签补加入S2，从S1的首部去除数据段的数据生成新的S1，继续扫描第一数据库；否则，将A的数据补加入S2，形成新起点A，使用新的A到数据尾部的数据生成待处理数据串S1，继续扫描第一数据库。如果小于，将S1补充到S2的尾部，用S2作为一级标签预处理结果。

技术领域

本发明涉及一种数据处理方法，尤其是待发送数据预处理方法。

背景技术

在数据传输的各个层次，减少传输重复数据的传输都具有重要意义。而减少数据重复传输的关键，在于如何获知哪些数据是重复的，以及在数据接收端迅速且无瑕疵地的恢复数据发送端的原始数据。对于静态数据，即内容确定的数据集合，如果能够获知需要重复传输的数据或数据集合，为重复的数据分配一个标签或标识，就可以用所述标签替代重复的数据进行传输，从而减少数据的重传以及在数据接收端恢复原始数据。而且，标签的长度和重复数据长度的比值越小，数据传输效率就越高。而对于动态数据，即内容不确定的数据集合，则需要恰当地分割数据以获得重复数据，以及为所述重复数据分配一个标签。

在一个数据集合中找到标签能够替代的数据段的过程，就是在数据传输前对其实施的一种预处理过程。现有的基于标签技术的数据预处理方法通常采用滑动窗口技术从一个方向顺序扫描所述数据集合，如果找到一个标签能够代替的数据段，就用所述数据段的标签代替所述数据段，然后继续扫描，直到数据集合扫描完毕。公知的常识是，扫描操作的起点不同，最后得到的扫描结果或数据预处理结果也有很大不同，也就是说，现有的数据预处理方法难以得到最佳的数据预处理结果。另外，现有的方法不考虑要预处理的数据特性，例如，图像数据、文本数据和控制数据对预处理的要求差异较大，控制数据要求无损预处理，而图像数据则允许有一定的损耗，由于没有考虑到这一点，使得现有方法难以实施更有效的数据预处理。

发明内容

本发明解决的问题是，提供一种预处理效果更好的数据预处理方法。

为解决上述问题，本发明实施例提供的一种待发送数据预处理方法，包括：

A、按照数据应用领域的特性，选择多个满足重复率要求的数据段及标识该数据段的一级标签生成第一数据库；

B、对输入的数据S，从一个方向确定一个起点A，使用所述起点A到数据S尾部的数据生成待处理数据串S1，使用数据S首部到所述起点A前一个位置的数据生成一级标签数据串S2；

C、判断S1的长度是否大于第一数据库中最小标签的长度，如果是，转步骤D，否则，将S1补充到S2的尾部，用S2作为一级标签预处理结果，结束；

D、使用S1扫描第一数据库；

E、判断是否找到匹配的数据段，如果找到，将所述数据段的标签补加入S2，从S1的首部去除所述数据段的数据生成新的S1，转步骤C继续扫描第一数据库；否则，将所述起点A的数据补加入S2，将所述起点A后移一位形成新起点，使用所述新起点A到数据尾部的数据生成待处理数据串S1，转步骤C继续扫描第一数据库。

其中，所述匹配的数据段是数据段与S1的相应数据子串完全相同，或者相似度大于设定值；其中，所述相似度按照对数据预处理要求的精度和数据特性确定。

本发明实施例提供的另一种待发送数据预处理方法，包括：

A、按照数据应用领域的特性，选择多个满足重复率要求的数据段及标识该数据段的一级标签生成第一数据库；

B、对输入的数据S，从一个方向确定一个起点A，令i＝1，使用所述起点A到数据S尾部的数据生成待处理数据串S1(i)，使用数据S首部到所述起点A前一个位置的数据生成一级标签数据串S2(i)；