[发明专利]一种长文本的自动分类方法及装置

说明书

本发明提供一种长文本的自动分类方法及装置，该方法包括：对长文本进行预处理，将长文本拆分为多个分句；将每个分句输入句特征提取模型，提取每个分句的句特征向量；将每个分句的句特征向量输入MSA‑FFN特征提取模型，得到长文本的第一特征向量；将每个分句的句特征向量输入HAN‑FFN特征提取模型，得到长文本的第二特征向量；将长文本的第一特征向量和长文本的第二特征向量进行融合，得到融合后的第三特征向量；基于第三特征向量，对长文本进行分类。采用本申请的方案，提高了长文本的自动分类的准确度。

技术领域

本发明涉及计算机技术领域，具体涉及一种长文本的自动分类方法及装置。

背景技术

随着互联网上信息量的爆发式地增长，对文本进行分类处理，以快速了解有价值的信息，在当今时代有着迫切的需求。而对长文本进行分类时，由于目前自然语言处理文本的长度一般不会超过512个字符，而实际语料中的中文文本通常会达到上千个字符，甚至上万个字符，现有的中文长文本分类方法一般是将长文本拆分为句，然后提取长文本的特征向量，各种特征提取算法各有优缺点，但是整体分类准确度并不高，如何更准确地对中文长文本进行分类，是目前亟待解决的问题。

发明内容

为了解决上述技术问题，本申请提供一种长文本的自动分类方法及装置，以提高长文本分类的准确度。

在本申请的第一方面提供了一种长文本的自动分类方法，所述方法包括：

对长文本进行预处理，将长文本拆分为多个分句；

将每个分句输入句特征提取模型，提取每个分句的句特征向量；

将每个分句的句特征向量输入MSA-FFN特征提取模型，得到长文本的第一特征向量；将每个句子的句特征向量输入HAN-FFN特征提取模型，得到长文本的第二特征向量；

将长文本的第一特征向量和长文本的第二特征向量进行融合，得到融合后的第三特征向量；基于第三特征向量，对长文本进行分类。

通过采用上述技术方案，将长文本分句后再提取每个分句的句特征向量，将句特征向量分别输入到MSA-FFN特征提取模型和HAN-FFN特征提取模型，得到长文本的第一特征向量和第二特征向量，再将二者进行融合，得到的融合后的长文本特征向量能够更为准确地表达长文本的特征，提高了特征提取的准确性，进而提高了长文本分类的准确性。

可选的，对长文本进行预处理，将长文本拆分为多个分句，包括：

将长文本拆分为多个分句，每个分句的长度不超过第一阈值；或者，将长文本按照标点符号拆分为多个分句，若拆分后的分句长度超过第一阈值，则以第一阈值为标准，再次进行拆分。

通过采用上述技术方案，将长文本拆分为多个分句，缩短了长文本的文档长度，从而可以利用自然语言处理模型来对长文本进行处理。

可选的，将每个分句输入句特征提取模型，提取每个分句的句特征向量，包括：所述句特征提取模型为分层注意力神经网络，包括word encoder、字符级注意力网络、sentence encoder层和句子级注意力网络；将对长文本拆分所得的分句依次输入到wordencoder、字符级注意力网络、sentence encoder层和句子级注意力网络中，句子级注意力网络的全连接层的输出为所提取到的每个分句的句特征向量。

通过采用上述技术方案，提取每个分句的句特征向量，根据所提取的句特征向量，得到整个长文本的特征向量，从而能够对长文本进行处理。

可选的，将每个分句的句特征向量输入MSA-FFN特征提取模型，得到长文本的第一特征向量，包括：

所述MSA-FFN模型为，multi_head self-attention机制和前馈神经网络构成的特征提取模型，将每个句向量先后输入multi_head self-attention机制和前馈神经网络，输出为长文本的第一特征向量。