[发明专利]一种基于语言模型的韩语分词还原方法

权利要求书

1.一种基于语言模型的韩语分词还原方法，其特征在于包括以下步骤：

1)语言模型训练：使用Unigram的方法对韩语单语数据进行语言模型训练，得到一个韩语的语言模型用于后续分词还原操作；

2)双语数据分词：训练一个翻译系统，使用分词工具对双语训练数据进行分词；

3)翻译模型训练：使用步骤1)生成的语言模型对数据进行分词处理后，将分词后的数据输入到神经网络模型中开始训练模型至模型收敛；

4)译文分词还原：使用步骤3)训练得到的翻译系统对测试语句进行翻译，将得到的韩语译文合并为标准韩语的书写方式。

2.根据权利要求1所述的基于语言模型的韩语分词还原方法，其特征在于步骤1)语言模型训练为：

101)输入韩语数据，使用基于标点的分词方式对韩语数据进行分词；

102)遍历分词后数据中的每个单词并放入韩语词典，记录单词在韩语词典中出现的频率；

103)根据韩语单词在韩语词典中出现的数量，计算每个单词在韩语词典中出现的概率，即为生成的语言模型；

104)对语言模型中的概率值做平滑处理。

3.根据权利要求1所述的基于语言模型的韩语分词还原方法，其特征在于步骤2)中，使用分词工具对双语训练数据进行分词，具体分词步骤如下：

201)对于源语言，根据不同的语言选择不同的分词方法：若是原始数据中的句子有空格，使用基于标点的分词方式对数据进行分词；若是类似中文这种句子中没有空格的数据，使用基于词典或是语言模型的分词方式对其进行分词；

202)对于目标语韩语数据，首先使用基于标点的分词方式，将韩语数据中的标点符号与韩语字符之间用空格分开；

203)使用标准的韩语词典对步骤202)中韩语数据的分词结果进行二次分词，将韩语数据中的短语分为更细颗粒度的词。

4.根据权利要求1所述的基于语言模型的韩语分词还原方法，其特征在于步骤4)中，将得到的韩语译文合并为标准韩语的书写方式，步骤如下：

401)使用机器翻译系统对源语言进行翻译，得到的韩语译文结构与二次分词后的韩语训练数据类型相同；

402)使用步骤1)训练得到的韩语语言模型对韩语译文进行合并，将401)中翻译系统输出的韩语译文中的多个单词合并为短语的格式；

403)将步骤402)中合并的韩语译文中的标点符号与韩语单词之间的空格去掉，形成为标准韩语的格式；

404)将步骤403)中还原后的标准格式的韩语译文返回并输出。

5.根据权利要求4所述的基于语言模型的韩语分词还原方法，其特征在于步骤402)中，分词合并的过程如下：

40201)翻译系统输出单词序列；

40202)使用语言模型计算该单词序列所有可能出现的合并方式的概率；

40203)步骤40202)中打分最高的合并路径作为最优的分词还原路径；

40204)将还原后的译文返回步骤403)并输出。