[发明专利]待发送数据预处理方法

权利要求书

1.一种待发送数据预处理方法，其特征在于包括：

A、按照数据应用领域的特性，选择多个满足重复率要求的数据段及标识该数据段的一级标签生成第一数据库；

B、对输入的数据S，从一个方向确定一个起点A，使用所述起点A到数据S尾部的数据生成待处理数据串S1，使用数据S首部到所述起点A前一个位置的数据生成一级标签数据串S2；

C、判断S1的长度是否大于第一数据库中最小标签的长度，如果是，转步骤D，否则，将S1补充到S2的尾部，用S2作为一级标签预处理结果，结束；

D、使用S1扫描第一数据库；

E、判断是否找到匹配的数据段，如果找到，将所述数据段的标签补加入S2，从S1的首部去除所述数据段的数据生成新的S1，转步骤C继续扫描第一数据库；否则，将所述起点A的数据补加入S2，将所述起点A后移一位形成新起点，使用所述新起点A到数据尾部的数据生成待处理数据串S1，转步骤C继续扫描第一数据库。

2.根据权利要求1所述的待发送数据预处理方法，其特征在于：

所述匹配的数据段是数据段与S1的相应数据子串完全相同，或者相似度大于设定值；其中，所述相似度按照对数据预处理要求的精度和数据特性确定。

3.根据权利要求1或2所述的待发送数据预处理方法，其特征在于，按照下述步骤使用S1扫描第一数据库：

依次使用第一数据库的每一个标签对应的数据段扫描S1，如果没有匹配数据段，将空串作为匹配的数据段，如果有一个匹配数据段，将该数据段作为匹配的数据段，如果有多个匹配数据段，将最长的数据段作为匹配的数据段。

4.根据权利要求3所述的待发送数据预处理方法，其特征在于还包括：

按照数据应用领域的特性，选择多个满足重复率要求的一级标签组及标识该一级标签组的二级标签生成第二数据库，利用所述第二数据库和一级标签预处理结果S2，生成二级标签预处理结果S3。

5.根据权利要求4所述的待发送数据预处理方法，其特征在于还包括：

按照数据应用领域的特性，选择多个满足重复率要求的二级标签组及标识该二级标签组的三级标签生成第三数据库，利用所述第三数据库和二级标签预处理结果S3，生成三级标签预处理结果S4。

6.一种待发送数据预处理方法，其特征在于包括：

A、按照数据应用领域的特性，选择多个满足重复率要求的数据段及标识该数据段的一级标签生成第一数据库；

B、对输入的数据S，从一个方向确定一个起点A，令i＝1，使用所述起点A到数据S尾部的数据生成待处理数据串S1(i)，使用数据S首部到所述起点A前一个位置的数据生成一级标签数据串S2(i)；

C、判断S1(i)的长度是否大于第一数据库中最小标签的长度，如果是，转步骤D，否则，将S1(i)补充到S2(i)的尾部，用S2(i)作为一级标签预处理结果，转步骤F；

D、使用S1(i)扫描第一数据库；

E、判断是否找到匹配的数据段，如果找到，将所述数据段的标签补加入S2(i)，从S1(i)的首部去除所述数据段的数据生成新的S1(i)，转步骤C继续扫描第一数据库；否则，将所述起点的数据补加入S2(i)，将所述起点后移一位形成新起点，使用所述新起点到数据尾部的数据生成待处理数据串S1(i)，转步骤C继续扫描第一数据库；

F、记录S2(i)，令A＝A+1，i＝i+1，使用所述起点A到数据S尾部的数据生成待处理数据串S1(i)；

G、判断S1(i)的长度是否大于第一数据库中最小标签的长度，如果是，使用数据S首部到所述起点A前一个位置的数据生成一级标签数据串S2(i)，转步骤D；否则转步骤H；

H、从S2(i)中找到长度最小的S2(i)作为预处理后的数据。