[发明专利]一种长文本的自动分类方法及装置

权利要求书

1.一种长文本的自动分类方法，其特征在于，所述方法包括：

对长文本进行预处理，将长文本拆分为多个分句；

将每个分句输入句特征提取模型，提取每个分句的句特征向量；

将每个分句的句特征向量输入MSA-FFN特征提取模型，得到长文本的第一特征向量；将每个分句的句特征向量输入HAN-FFN特征提取模型，得到长文本的第二特征向量；

将长文本的第一特征向量和长文本的第二特征向量进行融合，得到融合后的第三特征向量；

基于第三特征向量，对长文本进行分类。

2.根据权利要求1所述的长文本的自动分类方法，其特征在于，对长文本进行预处理，将长文本拆分为多个分句，包括：

将长文本拆分为多个分句，每个分句的长度不超过第一阈值；

或者，将长文本按照标点符号拆分为多个分句，若拆分后的分句长度超过第一阈值，则以第一阈值为标准，再次进行拆分。

3.根据权利要求1所述的长文本的自动分类方法，其特征在于，将每个分句输入句特征提取模型，提取每个分句的句特征向量，包括：

所述句特征提取模型为分层注意力神经网络，包括word encoder层、字符级注意力网络、sentence encoder层和句子级注意力网络；将对长文本拆分所得的分句依次输入到word encoder层、字符级注意力网络、sentence encoder层和句子级注意力网络中，句子级注意力网络的全连接层的输出为所提取到的每个分句的句特征向量。

4.根据权利要求1所述的长文本的自动分类方法，其特征在于，将每个分句的句特征向量输入MSA-FFN特征提取模型，得到长文本的第一特征向量，包括：

所述MSA-FFN模型为，multi_head self-attention机制和前馈神经网络构成的特征提取模型，将每个句向量先后输入multi_head self-attention机制和前馈神经网络，前馈神经网络的全连接层输出为长文本的第一特征向量。

5.根据权利要求1所述的长文本的自动分类方法，其特征在于，将每个句子的句特征向量输入HAN-FFN特征提取模型，得到长文本的第二特征向量，包括：

所述HAN-FFN模型为，分层注意力和前馈神经网络构成的特征提取模型，将每个句向量先后输入分层注意力机制和前馈神经网络，前馈神经网络的全连接层输出为长文本的第二特征向量。

6.根据权利要求1所述的长文本的自动分类方法，其特征在于，将长文本的第一特征向量和长文本的第二特征向量进行融合，得到融合后的第三特征向量，包括：

采用concatenate函数将长文本的第一特征向量和第二特征向量进行融合，得到长文本的第三特征向量。

7.根据权利要求1所述的长文本的自动分类方法，其特征在于，基于第三特征向量，对长文本进行分类，包括：

将第三长文本特征向量输入softmax模型，对长文本进行分类。

8.一种长文本的自动分类装置，其特征在于，包括：

预处理模块，对长文本进行预处理，将长文本拆分为多个分句；

句特征提取模块，将每个分句输入句特征提取模型，提取每个分句的句特征向量；

文本特征提取模块，将每个分句的句特征向量输入MSA-FFN特征提取模型，得到长文本的第一特征向量；将每个分句的句特征向量输入HAN-FFN特征提取模型，得到长文本的第二特征向量；

融合模块，将长文本的第一特征向量和长文本的第二特征向量进行融合，得到融合后的第三特征向量；

输出模块，基于第三特征向量，对长文本进行分类。

9.一种电子设备，其特征在于，包括处理器、存储器，所述存储器用于存储指令，所述处理器用于执行所述存储器中存储的指令，以使所述电子设备执行如权利要求1-7任意一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现如权利要求1-7中任一项所述的方法。