[发明专利]文本预处理方法、装置、存储介质及电子设备

说明书

本公开涉及一种文本预处理方法、装置、存储介质及电子设备，所述方法包括：获取待处理文本；针对预构建的拆分句数据集中的拆分句，将所述拆分句与所述待处理文本输入分类模型，得到所述分类模型输出的分类结果，所述分类结果表征该拆分句与所述待处理文本是否属于同一分类，所述拆分句数据集包括预先对完整文本进行精简处理得到的多条拆分句；根据所述分类结果确定所述拆分句数据集中与所述待处理文本相匹配的目标拆分句；根据与所述待处理文本相匹配的各所述目标拆分句生成目标文本，所述目标文本用于文本结构化处理，提高了文本结构化处理的准确率，并降低了文本结构化处理的处理难度。

技术领域

本公开涉及电子信息技术领域，具体地，涉及一种文本预处理方法、装置、存储介质及电子设备。

背景技术

在相关技术中，特别是在医学原始文本信息的文本结构化处理中，医学原始文本信息的简易化及其重要，在保证医学原始文本信息简易化的同时需要保留医学原始文本的真实语义，可以理解的是，医学原始文本信息越简易，文本结构化处理的难度越低，同时也会确保文本结构化处理的准确率。

因此，使医学原始文本信息在保留医学原始文本的真实语义的前提下实现简易化对文本结构化处理显得尤其重要。

发明内容

本公开的目的是提供一种文本预处理方法、装置、存储介质及电子设备，提高了文本结构化处理的准确率，并降低了文本结构化处理的处理难度。

为了实现上述目的，第一方面，本公开提供一种文本预处理方法，所述方法包括：

获取待处理文本；

针对预构建的拆分句数据集中的拆分句，将所述拆分句与所述待处理文本输入分类模型，得到所述分类模型输出的分类结果，所述分类结果表征该拆分句与所述待处理文本是否属于同一分类，所述拆分句数据集包括预先对完整文本进行精简处理得到的多条拆分句；

根据所述分类结果确定所述拆分句数据集中与所述待处理文本相匹配的目标拆分句；

根据与所述待处理文本相匹配的各所述目标拆分句生成目标文本，所述目标文本用于文本结构化处理。

可选地，所述根据所述分类结果确定所述拆分句数据集中与所述待处理文本相匹配的目标拆分句，包括：

在所述分类结果表征对应的拆分句与所述待处理文本属于同一分类的情况下，判断该拆分句中的各字符是否均存在与所述待处理文本中；

若该拆分句中的各字符均存在与所述待处理文本中，则确定该拆分句为与所述待处理文本相匹配的目标拆分句。

可选地，针对预构建的拆分句数据集中的每一拆分句，循环执行所述将所述拆分句与所述待处理文本输入分类模型，得到所述分类模型输出的分类结果，以及所述根据所述分类结果确定所述拆分句数据集中与所述待处理文本相匹配的目标拆分句的步骤；并，

在每次确定一新的目标拆分句后，判断所述待处理文本的所有字符是否被已确定的所有目标拆分句所包括的字符覆盖；

在所述待处理文本的所有字符被已确定的所有目标拆分句所包括的字符覆盖的情况下，停止所述循环。

可选地，所述拆分句数据集中包括多个类别的拆分句子集，一个所述拆分句子集对应一个分类模型，所述针对预构建的拆分句数据集中的每一拆分句，将该拆分句与所述待处理文本输入分类模型，得到该分类模型输出的分类结果，包括：

从所述拆分句数据集中确定类别与所述待处理文本对应的目标拆分句子集；

针对所述目标拆分句子集中的拆分句，将所述拆分句与所述待处理文本输入对应该目标拆分句子集的分类模型，得到该分类模型输出的分类结果。

可选地，所述分类模型是通过如下方式训练得到的：