[发明专利]一种基于BERT与双向LSTM、注意力机制融合的灾难信息博文分类方法

权利要求书

1.一种基于BERT与双向LSTM、注意力机制融合的灾难信息博文分类方法，其特征在于：包括训练阶段和分类阶段，

其中，训练阶段具体包括

步骤(1)训练数据集预处理，训练数据集包括社交媒体训练文本和对应的分类标签，以及警报性标签；

步骤(2)用BERT模型获取训练数据集的词向量；

步骤(3)用双向LSTM算法对训练数据集的词向量序列进行特征提取；

步骤(4)用注意力机制加权获取训练文本-标签重要性特征向量；

步骤(4.1)利用注意力机制，按照输入序列中单词的重要性，加权步骤(3)得到的训练文本的双向LSTM特征向量；

步骤(4.2)用注意力机制将标签的特征向量与加权好的文本向量再次加权，获取包含单词重要性及文本和标签相对重要性的特征向量；

步骤(5)构建前馈神经网络并进行系统训练，所述前馈神经网络用于对获得的文本-标签重要性特征向量进行分类；

分类阶段具体包括

将接收的待分类社交媒体文本进行预处理，然后用BERT模型获取待分类社交媒体文本词向量，接下来利用训练完成的步骤(4.1)的注意力机制，提取用注意力机制加权后的待分类文本的双向LSTM特征向量，最后输入训练完成的前馈神经网络分别进行信息类别的分类和警报性类别的分类。

2.根据权利要求1所述的一种基于BERT与双向LSTM、注意力机制融合的关于灾难信息博文分类方法，其特征在于：步骤(1)所述的预处理具体包括，

步骤(1.1)文本预处理

对文本数据进行分词、去除停用，英文大写转小写，中文繁体转简体；

步骤(1.2)消除文本数据中的冗余推文

推文之间的相似性定义如下公式所示；

其中T₁,T₂表示两条推文，length(∩(T₁,T₂))表示两条推文相同部分的字符数,

若是中文数据则是相同部分的字数，length(∪(T₁,T₂))表示两条推文的字符或字的总数，当两条推文相似性大于阈值时，删除T₁和T₂之间字符或字总数较少的推文。

3.根据权利要求1所述的所述的一种基于BERT与双向LSTM、注意力机制融合的关于灾难信息博文分类方法，其特征在于：步骤(3)所述的特征提取过程具体包括，

步骤(3.1)用双向LSTM算法对输入的词向量序列进行特征提取

其中是双向LSTM从左到右对输入的词向量做特征提取，是双向LSTM从右到

左对输入的词向量做特征提取，h_i是对两个方向的特征向量做加法，获得输入

词向量的双向的LSTM特征向量。

4.根据权利要求1所述的所述的一种基于BERT与双向LSTM、注意力机制融合的关于灾难信息博文分类方法，其特征在于：步骤(4.1)具体如下，

利用注意力机制，将步骤(3)得到的训练文本双向LSTM特征向量矩阵H中每个单词的词向量进行加权，获取根据单词重要性加权的特征向量矩阵α，公式如下：

M＝tanh(H)

α＝softmax(w^TM)

其中，双曲正切函数tanh将矩阵H中的数值范围规范在[-1，1]之间，ω^T代表待训练的注意力机制的参数向量，逻辑函数SOFTMAX输出的α即为注意力机制加权的训练文本双向LSTM特征向量矩阵。