[发明专利]长文本识别方法、装置、服务器以及计算机可读存储介质

说明书

本申请适用于文本处理技术领域，提供了一种长文本识别方法、装置、服务器以及计算机可读存储介质，该方法包括：获取待识别文本；确定出待识别文本中的长文本；根据投票机制识别长文本的目标类型。可见，本申请解决了现有技术中文本信息可能会丢失导致对文本类别的错误判断的技术问题，达到提高对长文本识别准确率的效果。

技术领域

本申请属于文本处理技术领域，尤其涉及一种长文本识别方法、装置、服务器以及计算机可读存储介质。

背景技术

文本分类是自然语言处理（NLP）的重要任务之一，该技术可以对文本进行重要的标签提取，实现关于文本的舆论监控，把握舆论热点和倾向。现有实现文本分类的方法众多，其中Bidirectional Encoder Representation from Transformers（BERT）预训练表征模型在多个NLP任务中都表现出较好的结果。但是该预训练模型考虑到计算与运行效率对其文本长度进行了限制，最大长度限制为512，其中还需要包括标志位[CLS]和[SEP]，其文本长度最大其实为510。当文本长度超过510时需要对其进行文本截取。因此，文本信息可能会丢失导致对文本类别的错误判断。

发明内容

在本申请实施例提供了一种长文本的分类识别方法、装置、服务器及存储介质，可以解决现有技术中长文本的分类识别过程会对丢失文本信息，导致对文本类别的错误判断的技术问题。

第一方面，本申请实施例提供了一种长文本识别方法，包括：

获取待识别文本；

确定出待识别文本中的长文本；

根据投票机制识别长文本的目标类型。

在第一方面的一种可能的实现方式中，根据投票机制识别长文本的类型，包括：

拆分所述长文本，得到短句；

将所述短句输入至预先训练的分类模型，得到预测类型；

根据预设的投票机制，基于所述短句对应的预测类型，判定出长文本的目标类型。

在第一方面的一种可能的实现方式中，将所述短句输入至预先训练的分类模型，得到预测类型之前，还包括：

训练所述分类模型。

在第一方面的一种可能的实现方式中，训练所述分类模型，包括：

获取样本数据；

根据所述样本数据构建分类模型；

根据所述样本数据训练所述分类模型。

第二方面，本申请实施例提供了一种长文本识别装置，包括：

获取模块，用于获取待识别文本；

确定模块，用于确定出待识别文本中的长文本；

识别模块，用于根据投票机制识别长文本的目标类型。

在第二方面的一种可能实现的方式中，所述识别模块包括：

拆分单元，用于拆分所述长文本，得到短句；

预测单元，用于将所述短句输入至预先训练的分类模型，得到预测类型；

判定单元，用于根据预设的投票机制，基于所述短句对应的预测类型，判定出长文本的目标类型。

在第二方面的一种可能实现的方式中，所述装置还包括：

训练模块，用于所述分类模型。

在第二方面的一种可能实现的方式中，所述训练模块包括：

获取单元，用于获取样本数据；

构建单元，用于根据所述样本数据构建分类模型；

训练单元，根据所述样本数据训练所述分类模型。

第三方面，本申请实施例提供了一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。