[发明专利]一种基于维吾尔文音节的短文压缩方法

摘要

一种基于维吾尔文音节的短文压缩方法，包括以下步骤：S1：在海量语料库基础上用统计出维吾尔文音节种类和出现频率；S2：在统计数据基础上设计一个基于音节的编码词典其中编码词典有2种音节编码；第一种音节编码长度为11bit，第二种编码长度为16bit；编码词典使用码值固定等长的音节编码；S3：压缩过程；S4：解压过程。本发明中，实现对维文短文的压缩和解压，使用方便，效率高。同时，本发明具有很好的压缩比率。

主权项

1.一种基于维吾尔文音节的短文压缩方法，其特征在于，包括以下步骤：S1：在海量语料库基础上用统计出维吾尔文音节种类和出现频率；S2：在统计数据基础上设计一个基于音节的编码词典其中编码词典有2种音节编码；第一种音节编码长度为11bit，第二种编码长度为16bit；编码词典使用码值固定等长的音节编码；S3：压缩过程中，首先针对维文短文进行音节切分，每个音节从S2中的编码词典中，获取相应的码值，然后将码值作为音节编码存储，生成压缩文；遇到非维文部分时，将非维文两端通过标志符号进行标识，然后按照原码存储；S4：解压过程中，读取字节序列后将其转换成比特序列，然后根据编码长度，通过编码词典转换成对应的音节，以恢复原文；当遇到标志符号时，则标志符号中间的内容不再解压，直接提取使用，以获取原文；解压结果以UFT‑8格式存储；在S3和S4中，设置在非维文两端两端的标志符号分别为Mark_S和Mark_E，Mark_S作为起始标志符，Mark_E作为结束标志符，即，非维文和非ASCII范围的字符串Y的编码格式为：“Mark_S‘字符串Y’Mark_E”。