[发明专利]文本断句方法、装置、电子设备和存储介质

说明书

本发明实施例提供一种文本断句方法、装置、电子设备和存储介质，其中方法包括：确定文本中每个字的字特征向量；将每个字的字特征向量输入至断句模型中，得到断句模型输出的每个字的断句概率；断句模型是基于样本文本中样本字的样本字特征向量和断句标识训练得到的；基于每个字的断句概率，确定多个候选断句结果；基于预设字数阈值和多个候选断句结果，确定断句结果。本发明实施例提供的方法、装置、电子设备和存储介质，在保证不切断局部语义的同时，得到每一分句的长度均小于等于预设字数阈值的断句结果，实现了高效、准确的文本断句，避免了人力成本和时间成本的损耗。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种文本断句方法、装置、电子设备和存储介质。

背景技术

字幕是指在音视频播放时，播放界面中显示的解说文字，可以帮助观众理解音视频内容。

当前，字幕文本的断句多由人工完成，十分耗费人力资源和时间成本。虽然自然语言处理技术的飞速发展，使得文本断句技术日趋成熟，但是在对字幕文本断句时，通常存在特定的文本断句要求，通用的文本断句技术无法满足字幕文本的断句要求。

发明内容

本发明实施例提供一种文本断句方法、装置、电子设备和存储介质，用以解决现有的字幕文本断句依靠人工完成，费时费力的问题。

第一方面，本发明实施例提供一种文本断句方法，包括：

确定文本中每个字的字特征向量；

将所述每个字的字特征向量输入至断句模型中，得到所述断句模型输出的每个字的断句概率；所述断句模型是基于样本文本中样本字的样本字特征向量和断句标识训练得到的；

基于所述每个字的断句概率，确定多个候选断句结果；

基于预设字数阈值和所述多个候选断句结果，确定断句结果。

优选地，所述基于所述每个字的断句概率，确定多个候选断句结果，具体包括：

基于所述每个字的断句概率构建搜索树；

基于所述搜索树，确定多个候选断句结果。

优选地，所述基于预设字数阈值和所述多个候选断句结果，确定断句结果，具体包括：

基于断句得分从大到小的顺序排列所述多个候选断句结果；所述断句得分是基于所述候选断句结果中每一断句位置对应字的所述断句概率，以及每一不断句位置对应字的不断句概率确定的；

从首个所述候选断句结果开始，若当前所述候选断句结果中的各个分句字数均小于等于所述预设字数阈值，则将当前所述候选断句结果作为所述断句结果；否则，将下一所述候选断句结果更新为当前所述候选断句结果。

优选地，所述基于预设字数阈值和所述多个候选断句结果，确定所述断句结果，还包括：

若每一所述候选断句结果均存在字数大于所述预设字数阈值的分句，则确定首个所述候选断句结果中字数大于所述预设字数阈值的分句；

基于字数大于所述预设字数阈值的分句中各个字的所述断句概率进行断句，直至首个所述候选断句结果中的各个分句字数均小于等于所述预设字数阈值；

将首个所述候选断句结果作为所述断句结果。

优选地，所述基于字数大于所述预设字数阈值的分句中各个字的所述断句概率进行断句，之前还包括：

在字数大于所述预设字数阈值的分句中，确定任一字与上一断句位置间的距离；

基于所述距离，确定所述任一字的距离激励概率；

基于所述任一字的所述断句概率与所述距离激励概率，更新所述任一字的所述断句概率。