[发明专利]基于融合模型的文本特征提取方法、装置、聊天机器人和存储介质

权利要求书

1.基于融合模型的文本特征提取方法，其特征在于，包括以下步骤：

S1、将词采用Word2vec模型，利用Skip-gram模型构建词向量，再将词组成的句子映射为句子矩阵；

S2、采用卷积神经网络提取词向量的局部特征；

S3、采用BLSTM模型提取与词向量上下文相关的全局特征；

S4、通过Attention机制提取局部特征、全局特征更深层次的信息特征，并将提取的特征进行融合；

S5、将网络逐层提取得到的文本特征向量使用soft-max分类器进行文本分类。

2.根据权利要求1所述的基于融合模型的文本特征提取方法，其特征在于，所述步骤S2具体包括以下步骤：

S21、将句子矩阵作为输入，输入到卷积神经网络的词嵌入层；

S22、卷积神经网络的卷积层进行卷积操作，提取局部特征；

S23、卷积神经网络的池化层进行池化操作，提取关键特征，舍弃冗余特征，生成固定维度的特征向量，将三个池化操作输出的特征拼接起来，得到输出，作为第一层全连接层输入特征的一部分。

3.根据权利要求2所述的基于融合模型的文本特征提取方法，其特征在于，所述步骤S22具体为：选用3*80、4*80、5*80大小的滤波器各40个，步长stride大小设置为2，padding为VALID，进行卷积运算，通过卷积操作来提取句子的局部特征。

4.根据权利要求1所述的基于融合模型的文本特征提取方法，其特征在于，所述步骤S3具体为：

S31、将句子矩阵作为输入，输入到BLSTM模型的词嵌入层；

S32、BLSTM模型的两个隐藏层保存两个方向的历史信息和未来信息；

S33、将两个隐藏层输出部分拼接，得到输出，作为第一层全连接层输入特征的一部分。

5.根据权利要求1所述的基于融合模型的文本特征提取方法，其特征在于，还包括采用tensorflow框架中的concat()方法对卷积神经网络和BLSTM模型输出的特征进行融合，将融合后的特征保存在output中，将其作为第一个全连接层的输入，再连接第二个全连接层，在第二个全连接层之后引入dropout机制。

6.根据权利要求1所述的基于融合模型的文本特征提取方法，其特征在于，所述步骤S4具体公式描述为：

e_t,i＝V_αtanh(Wq_t+Uk_i)

其中e_t,i表示target中某个元素q_t与source中某个k_i的相似值，V_α、W、U为随机化参数；α_t,i表示e_t,i的归一化值、e_t,j表示target中某个元素q_t与source中各个k_j的相似值，且j＝[1,N]；v_t表示元素q_t的最终Attention值。

7.基于融合模型的文本特征提取装置，其特征在于，包括：

词向量构建模块，用于采用Word2vec模型，利用Skip-gram模型构建词向量；

卷积神经网络模块，用于采用卷积神经网络提取词向量的局部特征；

BLSTM模型模块，用于采用BLSTM模型提取与局部特征上下文相关的全局特征；

Attention机制模块，通过Attention机制提取全局特征更深层次的信息特征，并将提取的特征进行融合；

文本分类模块，用于将网络逐层提取得到的文本特征向量使用soft-max分类器进行文本分类。

8.根据权利要求7所述的基于融合模型的文本特征提取装置，其特征在于，还包括映射模块，用于将词组成的句子映射为句子矩阵。