[发明专利]短文本完整性识别方法、装置、存储介质及计算机设备

说明书

本发明公开了一种短文本完整性识别方法、装置、存储介质及计算机设备，涉及信息技术领域，主要目的在于能够提升短文本完整性的识别精确度，以及识别效率，所述方法包括：获取已有的短文本集，并收集海量文本；根据所述短文本集中被截断短文本的概率分布和所述海量文本，对所述短文本集进行增量处理；利用预设卷积神经网络算法，对增量后的短文本集中的短文本、及其对应的完整性类别标签进行训练，得到短文本完整性识别模型；将待识别短文本输入到所述短文本完整性识别模型进行识别，以确定所述待识别短文本是否完整。本发明适用于短文本完整性的识别。

技术领域

本发明涉及信息技术领域，特别是涉及一种短文本完整性识别方法、装置、存储介质及计算机设备。

背景技术

随着信息技术的不断发展，人工智能开始进入人们生活，人工智能的实现，离不开自然语言处理(Natural Language Processing，NLP)的建模和数据处理。在实际应用中，用于NLP建模的原始数据通常为短信、应用程序的系统推送消息，网络上的用户评论，文章摘要等短文本，然而，这些原始数据中存在大量被截断的非完整文本，这些非完整文本会严重影响NLP建模的效果，导致最终得到的数据处理模型的数据处理准确率较低。因此，提出一种文本完整性的识别方法已成为了人工智能技术领域亟待解决的技术问题。

目前，通常通过人工方式识别短文本的完整性，如通过人工直接识别短文本的完整性，或者通过人工配置的短文本集，识别短文本的完整性。然而，人力能够覆盖的短文本有限，且文本被截断的因素很多，若通过上述方式识别短文本完整性，会造成短文本完整性的识别精确度较低，以及识别效率较低。

发明内容

有鉴于此，本发明提供一种短文本完整性识别方法、装置、存储介质及计算机设备，主要目的在于能够提升短文本完整性的识别精确度，以及识别效率。

依据本发明第一方面，提供了一种短文本完整性识别方法，包括：

获取已有的短文本集，并收集海量文本；

根据所述短文本集中被截断短文本的概率分布和所述海量文本，对所述短文本集进行增量处理；

利用预设卷积神经网络算法，对增量后的短文本集中的短文本、及其对应的完整性类别标签进行训练，得到短文本完整性识别模型；

将待识别短文本输入到所述短文本完整性识别模型进行识别，以确定所述待识别短文本是否完整。

可选地，所述根据所述短文本集中被截断短文本的概率分布和所述海量文本，对所述短文本集进行增量处理，包括：

按照所述短文本集中被截断短文本的概率分布，对所述海量文本进行截断处理，并进行完整性类别标注；

将所述海量文本及其对应的完整性类别标签，融合到所述短文本集。

可选地，所述将待识别短文本输入到所述短文本完整性识别模型进行识别，以确定所述待识别短文本是否完整，包括：

将待识别短文本输入到所述短文本完整性识别模型进行匹配；

将匹配短文本对应的完整性类别标签，确定为所述待识别短文本的完整性类别标签。

可选地，所述利用预设卷积神经网络算法，对增量后的短文本集中的短文本、及其对应的完整性类别标签进行训练，得到短文本完整性识别模型，包括：

将增量后的短文本集中的短文本输入到预设词向量处理模型，得到所述短文本对应的词向量特征；

将所述词向量特征和所述短文本对应的完整性类别标签，输入到预设卷积神经网络模型中进行训练，得到短文本完整性识别模型。

可选地，所述所述将待识别短文本输入到所述短文本完整性识别模型进行识别，以确定所述待识别短文本是否完整，包括：