[发明专利]一种基于词注意力机制的多输入LSTM_CNN文本分类方法及系统

说明书

本发明涉及一种基于词注意力机制的多输入LSTM_CNN文本分类方法及系统，将给定的文本分为标题和正文，将其转换成向量形式；分别捕获标题与正文的双向语义依赖关系，得到标题与正文的双向语义特征；对正文的双向语义特征，采用注意力机制计算各个位置的词与分类任务的相关程度，对各个位置的双向语义特征进行注意力加权，得到正文的加权后的特征向量；对正文加权后的特征向量进行局部特征提取，从而得到正文的细粒度特征；将标题与正文的特征进行拼接，得到最终的文档级文本特征表示；对文本特征表示进行预测，得到文本所述的类别概率。本发明能够更好的识别出目标文本的归属类别。

技术领域

本发明涉及文本分类技术领域，特别是一种基于词注意力机制的多输入LSTM_CNN文本分类方法及系统。

背景技术

文本分类是自然语言处理(NLP)中最重要的任务之一，其在搜索引擎、新闻分析、信息提取以及文档排序和分类等研究领域中具有广泛的应用。文本分类的一般流程是：文本预处理，提取特征工程，构造分类器，得到分类结果等过程。

文本分类技术近年来发展迅速，传统的文本分类工作主要集中在特征工程和分类器选择。特征工程是指利用数据所在领域的相关知识来构建特征，使得分类器发挥其最佳性能的过程，它在某一具体的任务中往往是最耗时耗力的，但却又极其重要；分类器通常选择常见的机器学习算法如逻辑回归、朴素贝叶斯和支持向量机等，这些算法往往简单高效，且具有强大的理论作为依据。然而，传统的特征表示是高纬度、高稀疏的，忽略了文本中的上下文信息或词序关系，特征表达能力很弱，而且神经网络很不擅长处理此类数据，给模型带来了严重的计算损耗并且降低了分类性能。

发明内容

有鉴于此，本发明的目的是提出一种基于词注意力机制的多输入LSTM_CNN文本分类方法及系统，能够自动捕获标题和正文特征，并通过BiLSTM捕获文本的双向语义依赖，采用词注意力机制的约束机制，配合TextCNN捕捉局域特征，最终识别出目标文本的归属类别。

本发明采用以下方案实现：一种基于词注意力机制的多输入LSTM_CNN文本分类方法，具体包括以下步骤：

将给定的文本分为标题和正文，并分别将其由文本形式转换成向量形式；

采用BiLSTM网络模型分别捕获标题与正文的双向语义依赖关系，得到标题与正文的双向语义特征；

对正文的双向语义特征，采用注意力机制计算各个位置的词与分类任务的相关程度，从而确定词对句子的贡献程度，再对各个位置的双向语义特征进行注意力加权，得到正文的加权后的特征向量；

采用TextCNN模块对正文加权后的特征向量进行局部特征提取，从而得到正文的细粒度特征；

将标题双向语义特征与细粒度的正文的细粒度特征进行拼接，得到最终的文档级文本特征表示；

对文本特征表示进行预测，得到文本所述的类别概率。

进一步地，采用WordEmbedding技术自训练词向量，将文本数据从文本形式转换成向量形式。

进一步地，所述对正文的双向语义特征，采用注意力机制计算各个位置的词与分类任务的相关程度，从而确定词对句子的贡献程度，再对各个位置的双向语义特征进行注意力加权，得到正文的加权后的特征向量具体为：

对于第i个句子，将BiLSTM的t时刻隐含层向量h_it作为词注意力层的输入，获得第t个位置的词的隐藏表示，并且由隐含表示计算出该时刻的输出向量，具体计算公式如下：

α_it＝tanh(W_Wh_it+b_w)；

S_it＝α_it·h_it；