[发明专利]基于改进seq2seq模型的多源多标签文本分类方法及其系统

权利要求书

1.一种基于改进seq2seq模型的多源多标签文本分类方法，其特征在于，该方法包括如下步骤:

步骤1、数据输入及预处理，对输入的多源文本语料进行分词、去停用词，构建输入语料中文词表，将所述输入语料中文词表序号化；构建包含所有分类标签的标签词表，将输入语料原始标签序号化，生成输入语料原始标签序列；

步骤2、词嵌入，根据所述输入语料中文词表将输入的所述多源文本语料数值化表示，并将数值化表示的所述多源文本语料输入到嵌入层中以得到各所述多源文本语料的词嵌入矩阵；

步骤3、编码，将所述词嵌入矩阵传递到编码层中，所述编码层包括多个编码器，每个所述多源文本语料对应一个所述编码器，利用双向循环神经网络对所述多源文本语料进行编码学习，得到表示各所述多源文本语料的编码；

步骤4、编码拼接，将所述编码输出并进行首尾拼接，得到汇总编码信息；

步骤5、解码，将所述汇总编码信息输入到采用注意力机制的解码层进行解码，得到解码输出；

步骤6、将所述解码输出得到的序列与输入语料原始标签序列代入损失函数进行比对，并利用误差反向传播算法优化系统参数，并保存参数优化后的模型；所述损失函数对标签顺序不敏感；

步骤7、预测输出，对于未知标签的一组多源文本数据经过步骤1-步骤5的处理得到解码输出，将所述解码输出经过softmax层进行归一化处理，输出大于预设的阈值的解码序列，根据所述解码序列在标签词表中找出相应的分类标签，所述相应的分类标签即为预测结果。

2.根据权利要求1所述的基于改进seq2seq模型的多源多标签文本分类方法，其特征在于，在步骤1中，所述输入语料中文词表按照词频高低进行序号化。

3.根据权利要求1所述的基于改进seq2seq模型的多源多标签文本分类方法，其特征在于，在步骤3中，所述编码层为seq2seq编码层。

4.根据权利要求1或3所述的基于改进seq2seq模型的多源多标签文本分类方法，其特征在于，在步骤5中，所述解码层采用单向循环神经网络。

5.根据权利要求4所述的基于改进seq2seq模型的多源多标签文本分类方法，其特征在于，在步骤5中，所述解码层包括解码器。

6.根据权利要求1所述的基于改进seq2seq模型的多源多标签文本分类方法，其特征在于，在步骤7中，所述softmax层采用softmax函数对所述解码输出进行归一化处理。

7.一种基于改进seq2seq模型的多源多标签文本分类系统，其特征在于，该系统包括：

数据输入及预处理模块，对输入的多源文本语料进行分词，构建输入语料中文词表，将所述输入语料中文词表序号化；构建包含所有分类标签的标签词表，将输入语料原始标签序号化，生成输入语料原始标签序列；

词嵌入模块，根据所述输入语料中文词表将输入的所述多源文本语料数值化表示，并将数值化表示的所述多源文本语料输入到嵌入层中以得到各所述多源文本语料的词嵌入矩阵；

编码模块，将所述词嵌入矩阵传递到编码层中，所述编码层包括多个编码器，每个所述多源文本语料对应一个所述编码器，利用双向循环神经网络对所述多源文本语料进行编码学习，得到表示各所述多源文本语料的编码；

编码拼接模块，将所述编码输出并进行首尾拼接，得到汇总编码信息；

解码模块，将所述汇总编码信息输入到采用注意力机制的解码层进行解码，得到解码输出；

模型优化模块，将所述解码输出得到的序列与输入语料原始标签序列代入损失函数进行比对，所述损失函数对标签顺序不敏感，并利用误差反向传播方法优化系统参数，最后保存模型；

预测输出模块，对于未知标签的一组多源文本数据，使用模型优化模块训练得到的模型，依次经过数据输入及预处理模块、词嵌入模块、编码模块、编码拼接模块、解码模块处理，得到解码输出，将所述解码输出经过softmax层进行归一化处理，输出大于预设的阈值的解码序列，根据所述解码序列在标签词表中找出相应的分类标签，所述分类标签即为预测结果。