[发明专利]一种高精度的泰语分句方法

摘要

本发明公开一种高精度的泰语分句方法，步骤为：泰语语料库中的句子对句子边界信息进行标注，得到所需泰语句子并进行组合，得到更多拥有人工句子边界标记的泰语句子；对每一个泰语单句按照字符的方式进行编码，根据当前句子边界信息生成二进制输出串，将泰语语料库按照9:1的比例分割成为训练集和校验集；使用双向RNN建立泰语分句模型结构，在模型训练期间使用批处理操作，对模型进行训练，每个批次包含多条经过编码的泰语句子，对于其余句子结尾为空的部分做pad标记填充；使用泰语分句模型开始训练，得到最终的泰语句子切分模型。本发明实现了泰语句子边界的精确定位，实现简单、切分精确，实用性强，训练速度快。

主权项

1.一种高精度的泰语分句方法，其特征在于包括以下步骤：1)泰语语料库中的句子经过人工方式对句子边界信息进行标注，得到新闻、口语、百科全书领域的泰语句子，在对泰语句子进行编码前，对泰语句子进行组合，得到更多拥有人工句子边界标记的泰语句子；2)对拥有人工句子边界标记的泰语句子中的每一个泰语单句按照字符的方式进行编码，同时根据当前句子边界信息生成一个二进制输出串，将泰语语料库按照9:1的比例分割成为训练集和校验集；3)使用双向RNN建立泰语分句模型结构，同时在模型训练期间使用训练集进行训练，将训练集中的泰语句子编码以批处理的方式对模型进行输入，开始对模型进行训练，每个批次包含多条经过编码的泰语句子，对于其余句子结尾为空的部分，使用pad标记填充；4)使用泰语分句模型开始训练，在模型训练期间，使用校验集中的泰语句子编码检测模型在真实数据上的结果误差，提高模型的泛化性。模型训练完成后，得到最终的泰语句子切分模型。