[发明专利]基于融合模型的文本特征提取方法、装置、聊天机器人和存储介质

说明书

本发明公开了一种基于融合模型的文本特征提取方法、装置、聊天机器人和存储介质。提取方法包括以下步骤：S1、将词采用Word2vec模型，利用Skip‑gram模型构建词向量，再将词组成的句子映射为句子矩阵；S2、采用卷积神经网络提取词向量的局部特征；S3、采用BLSTM模型提取与词向量上下文相关的全局特征；S4、通过Attention机制提取局部特征、全局特征更深层次的信息特征，并将提取的特征进行融合；S5、将网络逐层提取得到的文本特征向量使用soft‑max分类器进行文本分类。本发明既解决了单卷积神经网络忽略词语在上下文语义信息的问题，也有效的避免了传统循环神经网络梯度消失或者梯度弥散的问题。

技术领域

本发明属于文本处理技术领域，具体涉及一种基于CNN-BLSTM-Attention融合模型的文本特征提取方法、装置、聊天机器人和存储介质。

背景技术

目前在文本特征提取上依然采用人工特征工程和浅层分类模型进行文本分类。训练文本分类器过程如图1所示。机器学习问题把数据转换成信息再提炼到知识的过程，决定了结果的上限，而模型和算法，则是去逼近这个上限，特征工程不同于分类器模型，十分耗时，且不具备很强的通用性，往往需要结合对特征任务的理解。

所以一般都采用深度学习方法进行文本特征提取，主要包括：卷积神经网络模型(CNN)和长短期记忆人工神经网络(LSTM)。

深度学习方法进行文本分类的第一步是将文本向量化，利用词向量表示文本，作为神经网络的输入。传统的文本表示方法是基于向量空间模型或one-hot表示。向量空间模型中向量的维度与词典中词的个数线性相关，随着数量的增多会产生维度灾难，one-hot虽然简单但是忽略了词语之间的语义。

卷积神经网络是神经网络的一种专门处理矩阵输入的任务，如图2所示，能够将矩阵形式的输入编码为较低维度的一维向量，而保留大多数有用信息。虽然卷积神经网络在文本分类中取得了巨大的突破，但是卷积神经网络更加关注于局部特征而忽略词的上下文含义，这对文本分类的准确率有一定的影响。

LSTM的思想是：每一个单词经过embedding(嵌入层)之后，进入LSTM层，经过一个时间序列得到的神经单元的向量，这些向量经过mean pooling层(平均池化层)之后，可以得到一个组合向量，然后紧接着是一个简单的softmax层(分类器)得到一个类别分布向量。

同时，随着社会的日益信息化，人们更希望能够用自然语言在和机器人交流的过程中，得到自己想要的答案比如：股票查询。在和机器人的聊天的过程中会产生大量的数据，这些数据不光体现了用户的需求和意图，而且具有多样性，如果能够识别用户的需求和意图的话，那么机器人会更智能地提供服务。

在聊天机器人股价查询意图的识别上，传统的SVM方法(如图3所示)采用的是模式匹配或者是基特征进行模型的训练，分类简单但准确性低，CNN更好地利用聊天的上下文从而提取出特征优于刻画局部特征，但是CNN存在对文本的读取的时间序列需求的进一步优化

基于此，本发明提出如何结合上下文语境来进行文本特征提取，以识别用户的意图和需求，通过聊天能够针对性地回答用户的问题。

发明内容

本发明提供一种基于CNN-BLSTM-Attention融合模型的文本特征提取方法、装置、聊天机器人和存储介质，结合上下文语境来进行文本特征提取，以识别用户的意图和需求，通过聊天能够针对性地回答用户的问题。

为解决上述技术问题，本发明采用了如下的技术方案：

基于融合模型的文本特征提取方法，包括以下步骤：

S1、将词采用Word2vec模型，利用Skip-gram模型构建词向量，再将词组成的句子映射为句子矩阵；

S2、采用卷积神经网络提取词向量的局部特征；