[发明专利]一种文本中全局特征的提取方法、系统及相关装置

说明书

本申请提供一种文本中全局特征的提取方法，包括：利用BiLSTM模型获取所述文本的特征信息矩阵和输入信息矩阵；将所述特征信息矩阵和所述输入信息矩阵拼接得到新矩阵；利用卷积神经网络抽取所述新矩阵的全局特征。通过引入了注意力机制，解决了文本分类中无法关注重点单词特征的问题；同时通过引入残差连接，解决了网络模型在堆叠多层时出现的梯度消失以及高层网络中的参数更新停滞问题。实验结果表明，本文提出的模型能够更准确的获取文本特征信息，提高了文本分类的准确率。本申请还提供一种文本中全局特征的提取系统、一种计算机可读存储介质和一种终端，具有上述有益效果。

技术领域

本申请涉及深度学习领域，特别涉及一种文本中全局特征的提取方法、系统及相关装置。

背景技术

当前，随着互联网的快速发展，每天产生的文本数据在爆炸式的增长。由于文本数据的杂乱无章，仅仅通过人工的方式很难进行整理和区分。文本分类是用计算机设备对文本集(或其他实体或物件)按照一定的分类体系或标准进行自动分类标记。在文本分类中，如何通过预处理获取文本特征信息，一直是学者研究的热点问题。随着深度学习技术的飞速发展，深度学习在文本分类上的应用所取得的效果相比较于传统的文本分类算法如朴素贝叶斯，支持向量机(Support Vector Machine，SVM)等等取得了更好的效果。

卷积神经网络(Convolutional Neural Network，CNN)是一种前馈神经网络，最初是从猫眼视觉机制上得到启发，而被设计出来。它的神经元可以响应一部分覆盖范围内的周围单元，在图像识别和语音识别等任务上有着出色的表现。卷积神经网络(CNN)与其他深度学习结构相比，需要的参数更少。Kalchbrenner提出把CNN应用于自然语言处理，并设计了一个动态的神经网络(Dynamic Convolution Neural Network，DCNN)，用来处理长度不同的文本；Kim将经过预处理的词向量作为输入，利用卷积神经网络实现句子级别的分类任务。

然而，现有技术中文本分类中卷积神经网络(CNN)无法获取文本全局特征，且双向循环神经网络(BiLSTM)无法获取文本局部特征，给本领域技术人员带来较大困扰。

发明内容

本申请的目的是提供一种文本中全局特征的提取方法、提取系统、一种计算机可读存储介质和一种终端，解决了卷积神经网络无法获取文本全局特征的问题。

为解决所述技术问题，本申请提供一种文本中全局特征的提取方法，具体技术方案如下：

利用BiLSTM模型获取所述文本的特征信息矩阵和输入信息矩阵；

将所述特征信息矩阵和所述输入信息矩阵拼接得到新矩阵；

利用卷积神经网络抽取所述新矩阵的全局特征。

其中，还包括：

将CNN模型与所述BiLSTM模型相结合，得到BiLSTM-CNN模型；

将所述文本中预设单词的输入向量经过所述BiLSTM模型得到的特征向量拼接后作为所述预设单词的特征向量；

并将所述特征向量作为所述BiLSTM-CNN模型的输出，和所述CNN模型的输入向量；

对所述特征向量进行一维卷积，并经滤波器处理得到最终特征向量。

其中，所述滤波器的大小可以为所述预设单词的特征向量的倍数。

其中，将所述文本中预设单词的输入向量经过所述BiLSTM模型得到的特征向量拼接后作为所述预设单词的特征向量包括：

假设x_j(j＝1,…,n)为所述文本中的第j个单词的输入向量，其维度为K；和是所述第j个单词的输入向量x_j经过所述BiLSTM模型得到的特征向量，其维度分别是和