[发明专利]一种高精度的泰语分句方法

说明书

本发明公开一种高精度的泰语分句方法，步骤为：泰语语料库中的句子对句子边界信息进行标注，得到所需泰语句子并进行组合，得到更多拥有人工句子边界标记的泰语句子；对每一个泰语单句按照字符的方式进行编码，根据当前句子边界信息生成二进制输出串，将泰语语料库按照9:1的比例分割成为训练集和校验集；使用双向RNN建立泰语分句模型结构，在模型训练期间使用批处理操作，对模型进行训练，每个批次包含多条经过编码的泰语句子，对于其余句子结尾为空的部分做pad标记填充；使用泰语分句模型开始训练，得到最终的泰语句子切分模型。本发明实现了泰语句子边界的精确定位，实现简单、切分精确，实用性强，训练速度快。

技术领域

本发明涉及一种机器翻译领域，具体为一种高精度的泰语分句方法。

背景技术

目前，机器翻译技术已经开始围绕着以句子作为基本单位进行翻译，此时就会涉及到一个非常重要的任务就是对句子边界的自动判定。由于在大多未经过数据过滤步骤的数据语料中，其中存在的句对来源丰富多样，即存在经过人工翻译得到的的句子，又同时存在从互联网上依赖网络爬虫爬取得到的互译句对。因此，在语料库中句对的质量往往是参差不齐的，呈段落形式出现的句子几乎随处可见，这就造成了语料库中可能存在过多超长的句子。而若语料库出现这样的情况，对模型的训练甚至最终的翻译效果均会产生一定程度的影响。与此同时，由于目前用于模型训练的语料库中句对数量均非常庞大，采用人工的方式进行句子切分几乎是一件不可能完成的任务。因此，针对指定语种的句子自动划分(分句技术)在自然语言处理任务中一直都是一件十分重要的课题。

然而，自动句子切分并没有想象中的那样简单，针对于某些特定的语种，句子自动切分确实是一件较为容易实现的任务。例如中文，如下例所示：

而在控制平面尖点曲线内右分支曲线附近。迪塞奥回到家后，制定了最后的冲顶计划。

由上面的例子可知，句子中存在非常明显的标点信息(句中标点)，根据这些信息能够使计算机能够非常清晰的识别出当前句子边界的位置，类似于中文、英文等。对于这些语种的句子来说能够较为容易的将句子的边界信息识别出来。因此，分句任务之前的大部分研究均集中在英语、汉语等经过良好研究的语言中，因为其存在大量的标准化数据集。

但是，对于另外一些语种来讲，对于句子边界自动识别任务来说就不是一件容易的事情，例如泰语。因为在其句子中并不存在明显的边界信息，并且在词之间通常也不存在明显的分隔信息，这种情况对分句任务造成巨大的困难。如下例所示：

上面的例句中是一个泰语字符串，整个串由三条泰语句子组成。而通过观察得知，在整个句子串中并没有任何表示句子边界信息的标志，因此在使用计算机对句子边界进行自动识别的过程中，不能够很容易的依据具体的切分规则对泰语句子进行直接切分。

在以往的研究中，泰语分句技术有一段时间一直将空格(space)作为切分泰语句子的一个重要标志，认为泰语句子之间总是存在空格符号的，由于此种观点的提出，泰语分句的任务在一段时间内都在作为一个分类的问题在进行研究。虽然在大多泰语句子之间确实存在空格(space)，但也存在一定的缺点。事实证明，并不是所有泰语句子的边界均是存在空格符号的，这就造成了依赖此种方法对泰语句子进行切分并不能达到一个很高的精度，会存在一定的误差。

发明内容

针对现有技术中对泰语句子进行切分并不能达到一个很高的精度、存在一定的误差等不足，本发明要解决的问题是提供一种依赖句子中的字符序列，使用双向RNN的方式对泰语句子实现精确切分的精度的泰语分句方法。

为解决上述技术问题，本发明采用的技术方案是：

本发明一种高精度的泰语分句方法，其特征在于包括以下步骤：

1)泰语语料库中的句子经过人工方式对句子边界信息进行标注，得到新闻、口语、百科全书领域的泰语句子，在对泰语句子进行编码前，对泰语句子进行组合，得到更多拥有人工句子边界标记的泰语句子；