[发明专利]短文本完整性识别方法、装置、存储介质及计算机设备

权利要求书

1.一种短文本完整性识别方法，其特征在于，包括：

获取已有的短文本集，并收集海量文本；

根据所述短文本集中被截断短文本的概率分布和所述海量文本，对所述短文本集进行增量处理；

利用预设卷积神经网络算法，对增量后的短文本集中的短文本、及其对应的完整性类别标签进行训练，得到短文本完整性识别模型；

将待识别短文本输入到所述短文本完整性识别模型进行识别，以确定所述待识别短文本是否完整。

2.根据权利要求1所述的方法，其特征在于，所述根据所述短文本集中被截断短文本的概率分布和所述海量文本，对所述短文本集进行增量处理，包括：

计算所述短文本集中被截断短文本的概率分布；

按照所述短文本集中被截断短文本的概率分布，对所述海量文本进行截断处理，并进行完整性类别标注；

将所述海量文本及其对应的完整性类别标签，融合到所述短文本集。

3.根据权利要求1所述的方法，其特征在于，所述将待识别短文本输入到所述短文本完整性识别模型进行识别，以确定所述待识别短文本是否完整，包括：

将待识别短文本输入到所述短文本完整性识别模型进行匹配；

将匹配短文本对应的完整性类别标签，确定为所述待识别短文本的完整性类别标签。

4.根据权利要求1所述的方法，其特征在于，所述利用预设卷积神经网络算法，对增量后的短文本集中的短文本、及其对应的完整性类别标签进行训练，得到短文本完整性识别模型，包括：

将增量后的短文本集中的短文本输入到预设词向量处理模型，得到所述短文本对应的词向量特征；

将所述词向量特征和所述短文本对应的完整性类别标签，输入到预设卷积神经网络模型中进行训练，得到短文本完整性识别模型。

5.根据权利要求4所述的方法，其特征在于，所述所述将待识别短文本输入到所述短文本完整性识别模型进行识别，以确定所述待识别短文本是否完整，包括：

将待识别短文本输入到所述预设词向量处理模型，得到所述待识别短文本的词向量；

将所述待识别短文本的词向量，输入到所述短文本完整性识别模型进行匹配；

若所述待识别短文本的词向量与被截断短文本的词向量的相似度大于或者等于预设阈值，则确定所述待识别短文本为被截断的短文本；

若所述待识别短文本的词向量与被截断短文本的词向量的相似度大于或者等于预设阈值，则确定所述待识别短文本为完整的短文本。

6.根据权利要求1所述的方法，其特征在于，所述利用预设卷积神经网络算法，对增量后的短文本集中的短文本、及其对应的完整性类别标签进行训练，得到短文本完整性识别模型，包括：

利用预设卷积神经网络算法，对增量后的短文本集中的短文本、短文本之间的前后顺序特征、及其对应的完整性类别标签进行训练，得到短文本完整性识别模型；

所述将待识别短文本输入到所述短文本完整性识别模型进行识别，以确定所述待识别短文本是否完整，包括：

获取与所述待识别短文本前后相邻的文本；

将待识别短文本，其对应的相邻文本输入到所述短文本完整性识别模型进行识别，以确定所述待识别短文本是否完整。

7.根据权利要求1所述的方法，其特征在于，所述待识别短文本为NPL建模的原始文本，所述方法还包括：

若所述待识别短文本为被截断的短文本，则将所述待识别短文本从所述原始文本中剔除。

8.一种短文本完整性识别装置，其特征在于，包括：

获取单元，用于获取已有的短文本集，并收集海量文本；

处理单元，用于根据所述短文本集中被截断短文本的概率分布和所述海量文本，对所述短文本集进行增量处理；

训练单元，用于利用预设卷积神经网络算法，对增量后的短文本集中的短文本、及其对应的完整性类别标签进行训练，得到短文本完整性识别模型；

识别单元，用于将待识别短文本输入到所述短文本完整性识别模型进行识别，以确定所述待识别短文本是否完整。