[发明专利]一种文本分割方法、装置、电子设备及介质

权利要求书

1.一种文本分割方法，其特征在于，所述文本分割方法包括：

根据待分割文本中的标点符号分割所述待分割文本，获得至少一个粗分割子句；

根据依存句法分割每个粗分割子句，获得至少一个细分割子句；其中，所述细分割子句是以首个不与核心词具有除动词的并列关系之外的依存关系的词语，与之前的上一个词语之间的边界为分割点分割得到的；所述核心词为粗分割子句中首个与其他词语具有动词的并列关系的词语；

从所述至少一个细分割子句中筛选出动词超过预定数目的细分割子句；

如果筛选出动词超过预定数目的细分割子句，则对筛选出的动词超过预定数目的细分割子句进行语义分析处理，基于语义分析处理的结果确定所述待分割文本的文本分割结果。

2.根据权利要求1所述的文本分割方法，其特征在于，所述文本分割方法还包括：

如果未筛选出动词超过预定数目的细分割子句，则将所述至少一个细分割子句确定为所述待分割文本的文本分割结果。

3.根据权利要求1所述的文本分割方法，其特征在于，所述根据待分割文本中的标点符号分割所述待分割文本，获得至少一个粗分割子句，包括：

确定所述待分割文本中是否存在标点符号；

如果所述待分割文本中存在标点符号，则识别所述待分割文本中的标点符号，将按照识别出的属于特定标点符号的标点符号分割而得到的子句确定为粗分割子句；

如果所述待分割文本中不存在标点符号，则将所述待分割文本确定为粗分割子句。

4.根据权利要求1所述的文本分割方法，其特征在于，所述根据依存句法分割每个粗分割子句，获得至少一个细分割子句，包括：

通过依存句法对每个粗分割子句所包括的词语进行分析，获得每个粗分割子句所包括的词语之间的依存关系；

针对每个粗分割子句，确定词语之间是否存在属于动词的并列关系的依存关系；

如果词语之间存在属于动词的并列关系的依存关系，则按照词语从左至右的排列顺序，将依存关系属于动词的并列关系的词语中的首个词语确定为核心词；

以所述核心词所在位置为起点，向右搜索与所述核心词具有除动词的并列关系之外的依存关系的词语；

在搜索的过程中，将首个不与所述核心词具有除动词的并列关系之外的依存关系的词语与之前的上一个词语之间的边界确定为分割点；

基于所述分割点对相应的粗分割子句进行分割，获得至少一个细分割子句。

5.根据权利要求1所述的文本分割方法，其特征在于，所述根据依存句法分割每个粗分割子句，获得至少一个细分割子句，还包括：

如果词语之间不存在属于动词的并列关系的依存关系，则将词语之间不存在属于动词的并列关系的依存关系的粗分割子句确定为细分割子句。

6.根据权利要求1所述的文本分割方法，其特征在于，所述对筛选出的动词超过预定数目的细分割子句进行语义分析处理，基于语义分析处理的结果确定所述待分割文本的文本分割结果，包括：

使用预先训练好的机器学习模型对筛选出的动词超过预定数目的细分割子句执行人工智能相关的运算，获得筛选出的动词超过预定数目的细分割子句的子句分割结果；

将所述至少一个细分割子句中动词未超过预定数目的细分割子句和所述子句分割结果确定为所述待分割文本的文本分割结果。

7.根据权利要求6所述的文本分割方法，其特征在于，所述机器学习模型通过以下方式训练而被得到：

获取语料训练数据集；

基于获取的语料训练数据集，利用序列标注算法来训练用于预测细分割子句的子句分割结果的机器学习模型，

其中，所述语料训练数据集通过以下方式被获取：

获取单句语料，并过滤所述单句语料；

将过滤后的单句语料进行随机拼接，获得多个拼接语料；

确定每个拼接语料的困惑度值，将困惑度值小于预定阈值的拼接语料组成的集合确定为语料训练数据集。

8.根据权利要求3所述的文本分割方法，其特征在于，所述特定标点符号包括以下项中的至少一种：逗号、分号、句号、问号、感叹号和省略号。