[发明专利]语句切分方法及装置、存储介质、处理器及终端设备

权利要求书

1.一种语句切分方法，其特征在于，包括：

获取训练数据，其中，所述训练数据是至少基于词对齐关系，通过对初始双语句对进行切分后，形成的待使用双语句对；

通过所述训练数据训练得到语句切分模型；

采用所述语句切分模型对待切分的语句进行切分。

2.根据权利要求1所述的方法，其特征在于，获取所述训练数据包括：

对所述初始双语句对进行词对齐处理，得到包含词对齐结果的双语句对，其中，所述词对齐结果采用词对齐连线表示词对齐关系；

在包含词对齐结果的双语句对确定多个备选的切分点，其中，通过所述多个备选的切分点得到的切分线与所述词对齐连线不相交；

按照预设规则从所述多个备选的切分点中筛选出部分切分点；

通过构建语言模型，从所述部分切分点中确定最终使用的切分点，利用所述最终使用的切分点对所述包含词对齐结果的双语句对进行切分处理，得到切分后双语句，并将所述切分后双语句确定为所述训练数据。

3.根据权利要求2所述的方法，其特征在于，所述预设规则包括以下至少之一：

每个切分点的两侧存在至少一个单词；

每个切分点的一侧存在至少一个单词，并且该切分点的另一侧存在标点符号；

每相邻两个切分点之间的词数量大于第一预设阈值。

4.根据权利要求2所述的方法，其特征在于，通过构建语言模型，从所述部分切分点中确定最终使用的切分点，利用所述最终使用的切分点对所述包含词对齐结果的双语句对进行切分处理，得到切分后双语句，并将所述切分后双语句确定为所述训练数据包括：

从所述部分切分点中选取属于同一条切分线的第一切分点和第二切分点，其中，所述第一切分点用于对所述初始双语句对中的第一语句进行切分，所述第二切分点用于对所述初始双语句对中的第二语句进行切分；

通过为所述第一语句构建的第一语言模型计算由所述第一切分点分割的上下文单词的第一分数，以及通过为所述第二语句构建的第二语言模型计算由所述第二切分点分割的上下文单词的第二分数；

采用所述第一分数与所述第二分数之和确定所述最终使用的切分点，利用所述最终使用的切分点对所述包含词对齐结果的双语句对进行切分处理，得到所述切分后双语句，并将所述切分后双语句确定为所述训练数据。

5.根据权利要求4所述的方法，其特征在于，通过所述训练数据训练得到所述语句切分模型包括：

将由所述训练数据中每个切分点分割的上下文单词、所述语言模型以及所述第一分数与所述第二分数之和设置为所述语句切分模型的特征，训练得到所述语句切分模型。

6.根据权利要求5所述的方法，其特征在于，采用所述语句切分模型对所述待切分的语句进行切分包括：

切分步骤，采用所述语句切分模型对所述待切分的语句进行切分，得到多个待确认切分点；

选取步骤，从所述多个待确认切分点中选取尚未确认的切分点；

确认步骤，如果由当前选取的切分点分割的上下文短句所包含的单词数量均小于第二预设阈值，则将由所述当前选取的切分点分割的上下文短句合并为新的短句；返回所述选取步骤，直至所述多个待确认切分点全部确认完毕，以得到所述待切分的语句的切分结果。

7.根据权利要求1所述的方法，其特征在于，所述方法应用于以下场景之一：

将所述初始双语句对切分为所述待使用双语句对；

将所述待切分的语句切分为用于机器翻译的待使用语句。

8.一种语句切分装置，其特征在于，包括：

获取单元，用于获取训练数据，其中，所述训练数据是至少基于词对齐关系，通过对初始双语句对进行切分后，形成的待使用双语句对；

训练单元，用于通过所述训练数据训练得到语句切分模型；

切分单元，用于采用所述语句切分模型对待切分的语句进行切分。