[发明专利]文本断句方法、装置、电子设备和存储介质

权利要求书

1.一种文本断句方法，其特征在于，包括：

确定文本中每个字的字特征向量；

将所述每个字的字特征向量输入至断句模型中，得到所述断句模型输出的每个字的断句概率；所述断句模型是基于样本文本中样本字的样本字特征向量和断句标识训练得到的；

基于所述每个字的断句概率，确定多个候选断句结果；

基于预设字数阈值和所述多个候选断句结果，确定断句结果；

所述基于所述每个字的断句概率，确定多个候选断句结果，具体包括：

基于所述每个字的断句概率构建搜索树；

基于所述搜索树，确定多个候选断句结果；

所述基于预设字数阈值和所述多个候选断句结果，确定断句结果，包括：

从多个候选断句结果中选取出每一分句长度均小于等于所述预设字数阈值的候选断句结果，作为所述断句结果。

2.根据权利要求1所述的文本断句方法，其特征在于，所述从多个候选断句结果中选取出每一分句长度均小于等于所述预设字数阈值的候选断句结果，作为所述短句结果，具体包括：

基于断句得分从大到小的顺序排列所述多个候选断句结果；所述断句得分是基于所述候选断句结果中每一断句位置对应字的所述断句概率，以及每一不断句位置对应字的不断句概率确定的；

从首个所述候选断句结果开始，若当前所述候选断句结果中的各个分句字数均小于等于所述预设字数阈值，则将当前所述候选断句结果作为所述断句结果；否则，将下一所述候选断句结果更新为当前所述候选断句结果。

3.根据权利要求2所述的文本断句方法，其特征在于，所述基于预设字数阈值和所述多个候选断句结果，确定断句结果，还包括：

若每一所述候选断句结果均存在字数大于所述预设字数阈值的分句，则确定首个所述候选断句结果中字数大于所述预设字数阈值的分句；

基于字数大于所述预设字数阈值的分句中各个字的所述断句概率进行断句，直至首个所述候选断句结果中的各个分句字数均小于等于所述预设字数阈值；

将首个所述候选断句结果作为所述断句结果。

4.根据权利要求3所述的文本断句方法，其特征在于，所述基于字数大于所述预设字数阈值的分句中各个字的所述断句概率进行断句，之前还包括：

在字数大于所述预设字数阈值的分句中，确定任一字与上一断句位置间的距离；

基于所述距离，确定所述任一字的距离激励概率；

基于所述任一字的所述断句概率与所述距离激励概率，更新所述任一字的所述断句概率。

5.根据权利要求1所述的文本断句方法，其特征在于，所述确定文本中每个字的字特征向量，具体包括：

基于任一所述字的字向量，或，基于任一所述字的字向量和辅助特征向量，确定所述任一字的所述字特征向量；

其中，所述辅助特征向量包括位置特征向量、字共现特征向量和声学特征向量中的至少一种；其中，所述位置特征向量表征所述任一字在所属分词中的位置，所述字共现特征向量表征所述任一字与断句的共现情况。

6.根据权利要求5所述的文本断句方法，其特征在于，任一字的所述字共现特征向量包括所述任一字和断句的互信息；所述互信息是基于断句出现概率、所述任一字的字出现概率和字断句共现概率确定的。

7.根据权利要求1所述的文本断句方法，其特征在于，所述确定文本中每个字的字特征向量，之前还包括：

从音视频文件中提取音频数据；

对所述音频数据进行语音识别，得到所述文本。

8.根据权利要求1所述的文本断句方法，其特征在于，所述基于预设字数阈值和所述多个候选断句结果，确定断句结果，之后还包括：

基于所述文本对应的音频数据，确定所述断句结果中每一分句的前后时刻边界；

基于所述断句结果和所述每一分句的前后时刻边界，将所述文本转换为字幕格式文本。