[发明专利]一种基于维吾尔文音节的短文压缩方法

权利要求书

1.一种基于维吾尔文音节的短文压缩方法，其特征在于，包括以下步骤：

S1：在海量语料库基础上用统计出维吾尔文音节种类和出现频率；

S2：在统计数据基础上设计一个基于音节的编码词典其中编码词典有2种音节编码；第一种音节编码长度为11bit，第二种编码长度为16bit；编码词典使用码值固定等长的音节编码；

S3：压缩过程中，首先针对维文短文进行音节切分，每个音节从S2中的编码词典中，获取相应的码值，然后将码值作为音节编码存储，生成压缩文；遇到非维文部分时，将非维文两端通过标志符号进行标识，然后按照原码存储；

压缩过程中：将维文的每个音节获取对应的音节编码，以转换成11bit的音节编码X；维文中出现的ASCII码前128个字符视为维文的128个音节，其ASCII码转换成其11bit编码；然后在每个音节编码X后再附加1bit的空格标志位K，即，音节编码X+K；若K为0时，表示该音节是词尾音节其后面有空格；若K为1时，音节X是词首或词中音节后面没有空格；

压缩后，若最后生产的位序列长度不能被8整除，则采用附加“0”的方法使得位序列能够被8整除，再将位序列转换成字节序列，以进行保存；

S4：解压过程中，读取字节序列后将其转换成比特序列，然后根据编码长度，通过编码词典转换成对应的音节，以恢复原文；当遇到标志符号时，则标志符号中间的内容不再解压，直接提取使用，以获取原文；解压结果以UFT-8格式存储；

在S3和S4中，设置在非维文两端两端的标志符号分别为Mark_S和Mark_E，Mark_S作为起始标志符，Mark_E作为结束标志符，即，非维文和非ASCII范围的字符串Y的编码格式为：“Mark_S‘字符串Y’Mark_E”。

2.根据权利要求1所述的基于维吾尔文音节的短文压缩方法，其特征在于，解压过程中：将每个字节转换成8bit的2进制格式，生成1个位数据流。

3.根据权利要求2所述的基于维吾尔文音节的短文压缩方法，其特征在于，解压过程中：

如果是Mark_S字符串Y Mark_E，则把中间的字符串Y以16bit为单位转换成相应的Unicode字符，Mark_S和Mark_E被丢弃；

如果是维文，则截取12bit，前11bit是音节在编码表中的索引，第12bit是空格标志。