[发明专利]一种文本分割方法、装置、电子设备及介质

说明书

本申请提供了一种文本分割方法、装置、电子设备及介质，包括：根据待分割文本中的标点符号分割所述待分割文本，获得至少一个粗分割子句；根据依存句法分割每个粗分割子句，获得至少一个细分割子句；从所述至少一个细分割子句中筛选出动词超过预定数目的细分割子句；如果筛选出动词超过预定数目的细分割子句，则对筛选出的动词超过预定数目的细分割子句进行语义分析处理，基于语义分析处理的结果确定所述待分割文本的文本分割结果。本申请实施例能够准确快速地将连续文本分割成多个语义完整的子句，从而达到有效提高文本分割结果的准确性，改善人机交互系统的性能和用户体验的技术效果。

技术领域

本申请涉及文本处理领域，具体而言，涉及一种文本分割方法、装置、电子设备及介质。

背景技术

随着人工智能技术的快速发展，人机交互系统的性能已经基本满足人们的实用需求。例如，人们可以通过语音对话或者文本输入与机器进行交互。通常，人机语音接口使用自动语音识别系统将用户语音转换成文字以供下一步的处理，然而，语音识别的结果是没有任何标点符号的连续文本，这种语音识别的结果在无断句的情况下无法被分析或者转换。此外，当人机文本接口接收到句式比较复杂的文本时，基于当前自然语言处理模块的技术局限性，难以处理。

为了解决上述问题，文本分割技术应运而生，通过文本分割技术可将语音识别结果或者复杂的文本划分成多个简单句子，以供下一步处理。然而，现有的基于统计的文本分割方法仅考虑词语的共现频率，而忽略了词语或者句子的语义信息以及词语与词语之间的句法依存关系，这导致该方法分割性能受限，难以处理较为复杂的文本。此外，现有的基于文本分割模型的文本分割方法虽然分割准确率较高，但是训练文本分割模型需要大量的训练数据，难以适用于少样本的情况。

发明内容

有鉴于此，本申请的目的在于提供一种文本分割方法、装置、电子设备及介质，能够准确快速地将连续文本分割成多个语义完整的子句，从而达到有效提高文本分割结果的准确性，改善人机交互系统的性能和用户体验的技术效果。

第一方面，本申请实施例提供了一种文本分割方法，所述文本分割方法包括：

根据待分割文本中的标点符号分割所述待分割文本，获得至少一个粗分割子句；

根据依存句法分割每个粗分割子句，获得至少一个细分割子句；

从所述至少一个细分割子句中筛选出动词超过预定数目的细分割子句；

如果筛选出动词超过预定数目的细分割子句，则对筛选出的动词超过预定数目的细分割子句进行语义分析处理，基于语义分析处理的结果确定所述待分割文本的文本分割结果。

在一种可能的实施方式中，所述文本分割方法还包括：

如果未筛选出动词超过预定数目的细分割子句，则将所述至少一个细分割子句确定为所述待分割文本的文本分割结果。

在一种可能的实施方式中，所述根据所述待分割文本中的标点符号分割所述待分割文本，获得至少一个粗分割子句，包括：

确定所述待分割文本中是否存在标点符号；

如果所述待分割文本中存在标点符号，则识别所述待分割文本中的标点符号，将按照识别出的属于特定标点符号的标点符号分割而得到的子句确定为粗分割子句；

如果所述待分割文本中不存在标点符号，则将所述待分割文本确定为粗分割子句。

在一种可能的实施方式中，所述根据依存句法分割每个粗分割子句，获得至少一个细分割子句，包括：

通过依存句法对每个粗分割子句所包括的词语进行分析，获得每个粗分割子句所包括的词语之间的依存关系；

针对每个粗分割子句，确定词语之间是否存在属于动词的并列关系的依存关系；