[发明专利]一种基于维吾尔文音节的短文压缩方法

说明书

一种基于维吾尔文音节的短文压缩方法，包括以下步骤：S1：在海量语料库基础上用统计出维吾尔文音节种类和出现频率；S2：在统计数据基础上设计一个基于音节的编码词典其中编码词典有2种音节编码；第一种音节编码长度为11bit，第二种编码长度为16bit；编码词典使用码值固定等长的音节编码；S3：压缩过程；S4：解压过程。本发明中，实现对维文短文的压缩和解压，使用方便，效率高。同时，本发明具有很好的压缩比率。

技术领域

本发明涉及维吾尔文短文压缩领域，尤其涉及一种基于维吾尔文音节的短文压缩方法。

背景技术

目前为止还没有发现根针对吾尔文词法结构特点的文本压缩方法；手机短信，微信、QQ、微博等社交软件里的维吾尔文文本存放本地时没有被压缩，占用流量和空间大。二维码存储维吾尔文时也没有使用压缩，因为面积有限，而无法容纳更多的内容。

发明内容

(一)发明目的

为解决背景技术中存在的技术问题，本发明提出一种基于维吾尔文音节的短文压缩方法，实现对维文短文的压缩和解压，使用方便，效率高。同时，本发明具有很好的压缩比率。

(二)技术方案

为解决上述问题，本发明提供了一种基于维吾尔文音节的短文压缩方法，包括以下步骤：

S1：在海量语料库基础上用统计出维吾尔文音节种类和出现频率；

S2：在统计数据基础上设计一个基于音节的编码词典其中编码词典有2种音节编码；第一种音节编码长度为11bit，第二种编码长度为16bit；编码词典使用码值固定等长的音节编码；

S3：压缩过程中，首先针对维文短文进行音节切分，每个音节从S2中的编码词典中，获取相应的码值，然后将码值作为音节编码存储，生成压缩文；遇到非维文部分时，将非维文两端通过标志符号进行标识，然后按照原码存储；

S4：解压过程中，读取字节序列后将其转换成比特序列，然后根据编码长度，通过编码词典转换成对应的音节，以恢复原文；当遇到标志符号时，则标志符号中间的内容不再解压，直接提取使用，以获取原文。

在S3和S4中，设置在非维文两端两端的标志符号分别为Mark_S和Mark_E，Mark_S作为起始标志符，Mark_E作为结束标志符，即，非维文和非ASCII范围的字符串Y的编码格式为：“Mark_S‘字符串Y’Mark_E”。

优选的，压缩过程中：

将维文的每个音节获取对应的音节编码，以转换成11bit的音节编码X；维文中出现的ASCII码前128个字符视为维文的128个音节，其ASCII码转换成其11bit编码；然后在每个音节编码X后再附加1bit的空格标志位K，即，音节编码X+K；若K为0时，表示该音节是词尾音节其后面有空格；若K为1时，音节X是词首或词中音节后面没有空格；

压缩后，若最后生产的位序列长度不能被8整除，则采用附加“0”的方法使得位序列能够被8整除，再将位序列转换成字节序列，以进行保存。

优选的，解压过程中：将每个字节转换成8bit的2进制格式，生成1个位数据流。

优选的，解压过程中：

如果是Mark_S字符串Y Mark_E，则把中间的字符串Y以16bit为单位转换成相应的Unicode字符，Mark_S和Mark_E被丢弃；如果是维文，则截取12bit，前11bit是音节在编码表中的索引，第12bit是空格标志。

本发明的上述技术方案具有如下有益的技术效果：实现对维文短文的压缩和解压，使用方便，效率高。同时，本发明具有很好的压缩比率，节省存储空间。

附图说明