[发明专利]一种蒙古文编码转换方法和装置

说明书

技术领域

本发明涉及数字信息处理技术领域，尤其涉及一种蒙古文编码转换方法和装置。

背景技术

蒙古语言文字是中国蒙古族自治地方的通用文字之一，是一个在全世界有数千万人使用的语言。近几年在国家各部门和地方政府的大力支持下，蒙古文信息处理事业得到了长足的发展，产生了多种蒙古文文字处理系统、排版系统、办公软件和其它应用软件。但是由于蒙古文国际标准编码制定和出台较晚，很多蒙古文应用系统和软件使用了不同的编码方案。目前，多数蒙古文网站和资料依然采用非国际标准编码方案进行编码和存储。随着蒙古文信息处理技术的快速发展，人们逐渐意识到了蒙古文编码差异所造成的问题。首先由于不同编码方案之间互不兼容、互不识别，技术上的重复开发问题严重，造成了人力、物力及财力上的极大浪费；其次采用非国际标准编码方案建立的各种文件和资源越来越多，由于编码方案不同，从而不能很好地共享和利用这些资源。因此将非国际标准编码蒙古文转换为统一的国际标准编码已成为当前蒙古文信息处理中亟待解决的问题。

目前业内提出的编码转换的解决方法是基于规则、词典和统计相结合的方法，采用以最小字素编码为中介的编码转换方法，把智能编码、方正编码、蒙科立编码和赛音编码等编码先转换为最小字素编码，再由最小字素编码转换为国际标准编码。比如内蒙古大学计算机学院巩政等人提出的形码->最小字素编码->智能编码->国际标准编码的转换方法，内蒙古大学计算机学院张瑾等人提出的形码->最小字素编码->国际标准编码的转换方法等。采用最小字素编码作为中介的编码转换方法，虽然转换成功率比较高，但是运行速度慢，数据处理量大，无法满足快速编码转换的要求。

发明内容

本发明的目的是提供一种能够克服上述缺陷的蒙古文编码转换方法和装置。

在第一方面，本发明提供了蒙古文编码转换方法，所述方法包括：

提取当前行的待处理行数据；

对所述待处理行数据进行分词数据处理，得到蒙古文单词序列；

依次处理所述蒙古文单词序列中的蒙古文单词，得到每个所述蒙古文单词中包括的一个或多个字母的字符信息、位置属性信息和一个或多个字母的编码数据；其中，所述位置属性信息至少包括：标识所述字母在当前所述蒙古文单词中的位置的信息；

在预设的位置信息查找规则表中，依次匹配每一所述字母的字符信息、位置属性信息与所述规则表中替换字符的字符信息、位置属性信息，确定一个或多个命中规则；所述命中规则包括若干期望条件，所述期望条件包括语法约束和相邻位置字母约束；

依次根据所述命中规则，对当前蒙古文单词中的字母进行匹配，确定最优命中规则；

将所述字母的编码数据转换为所述最优命中规则中的替换字符的编码数据。

优选的，当所述规则表中替换字符的位置属性信息没有限定时，所述字母的位置属性信息与所述规则表中替换字符的位置属性信息相匹配。

优选的，当由所述待处理行数据中不包括蒙古文单词，或当前行中全部蒙古文单词的字母转换完毕时，所述方法还包括：

提取所述当前行的下一行的待处理行数据。

优选的，所述字母的字符信息包括：词性、阴阳性、前后字符元辅音、音节数中的一种或多种。

优选的，所述位置属性信息包括：独立体、词首、词中、词尾。

第二方面，本发明实施例提供了一种蒙古文编码转换装置，包括：

行数据提取单元，用于提取当前行的待处理行数据；

处理单元，用于对所述待处理行数据进行分词数据处理，得到蒙古文单词序列；依次处理所述蒙古文单词序列中的蒙古文单词，得到每个所述蒙古文单词中包括的一个或多个字母的字符信息、位置属性信息和一个或多个字母的编码数据；其中，所述位置属性信息至少包括：标识所述字母在当前所述蒙古文单词中的位置的信息；

匹配单元，用于在预设的位置信息查找规则表中，依次匹配每一所述字母的字符信息、位置属性信息与所述规则表中替换字符的字符信息、位置属性信息，确定一个或多个命中规则；所述命中规则包括若干期望条件，所述期望条件包括语法约束和相邻位置字母约束；

确定单元，依次根据所述命中规则，对当前蒙古文单词中的字母进行匹配，确定最优命中规则；

执行单元，将所述字母的编码数据转换为所述最优命中规则中的替换字符的编码数据。

优选的，当所述规则表中替换字符的位置属性信息没有限定时，所述字母的位置属性信息与所述规则表中替换字符的位置属性信息相匹配。