[发明专利]一种基于BERT与双向LSTM、注意力机制融合的灾难信息博文分类方法

说明书

本发明提供了一种基于BERT和双向LSTM、注意力机制融合的关于灾难信息博文分类方法，用于解决灾难来临时评估社交媒体文本信息重要性的问题，本方法包括训练和分类两大阶段，训练阶段分为以下五步：训练数据预处理；用BERT模型获取训练数据的词向量；用双向LSTM算法对词向量序列进行特征提取；用注意力机制加权获取文本‑标签重要性特征向量；构建前馈神经网络并训练；分类阶段，利用训练完成的网络对待分类文本进行分类；训练阶段中的注意力机制分为两步，其中第二步注意力机制仅用于训练。本方法不同于以往的文本嵌入方式，克服了短文本特征稀缺的问题，明显的提升了分类效果。

技术领域

本发明涉及一种基于BERT与双向LSTM、注意力机制融合的灾难信息博文分类方法，属于互联网信息分类技术领域。

背景技术

社交媒体已经成为人类生活中不可或缺的一部分，如推特、微博等。当自然灾害发生时，如火灾、地震、山洪、海啸、泥石流等自然灾害或枪击、抢劫等突发事件时，如果仅仅通过媒体转播，事件救援的周期会非常缓慢。2019年2月28日中国互联网络信息中心(CNNIC)在京发布第43次《中国互联网络发展状况统计报告》，截至2018年12月，我国网民规模达8.29亿，普及率达59.6％，较2017年底提升3.8个百分点，全年新增网民5653万；我国手机网民规模达8.17亿，网民通过手机接入互联网比例高达98.6％，人们喜欢在社交媒体上进行灾后评估或活动。如何通过对社交媒体上的文本进行分类来过滤此类自然灾害或紧急情况并将重要信息报告给相关人员，让工作人员了解事件的进展情况以提供帮助，是一个很具有挑战性的工作。

发明内容

为了解决上述当灾难来临时评估社交媒体文本信息重要性的问题，本发明提出一种基于BERT与双向LSTM、注意力机制融合的灾难信息博文分类方法，具体设计思路为用BERT模型融合双向LSTM，注意力机制，把社交媒体上的文本数据进行信息类别分类和警报性分类，例如，当地震发生时，受害群众通过社交平台发布的需要救援的信息，在本方法中将此信息类别判定为请求救援类，警报性类别为严重，然后根据信息的重要性得分反馈给社交媒体，通过在社交媒体上扩散，来寻找附近可以提供帮助的人，利用社交平台来帮助灾难的救援。

本发明主要分为训练和分类两大阶段，训练阶段包括以下步骤：

步骤(1)训练数据集预处理，训练数据集包括社交媒体训练文本和对应的分类标签，以及警报性标签；

原始社交媒体的文本数据包含许多非文本信息，这将对后续的模型训练产生负面影响，故需要进行预处理，所使用的方法包括以下步骤：

步骤(1.1)文本预处理

对文本数据进行分词、去除停用，英文大写转小写，中文繁体转简体。

步骤(1.2)消除训练数据中的冗余推文

训练数据中含有很有相似或者完全相同的推文，消除冗余的目的是去除掉这些相似或完全相同的推文；推文之间的相似性定义如下公式所示；

其中T₁,T₂表示两条推文，length(∩(T₁,T₂))表示两条推文相同部分的字符数,若是中文数据则是相同部分的字数。length(∪(T₁,T₂))表示两条推文的字符或字的总数。当两条推文相似度很高时，删除T₁和T₂之间字符或字总数较少的推文。

步骤(2)用BERT模型获取训练数据集的词向量，包括训练文本和对应标签的词向量

利用BERT模型的嵌入层对预处理后的训练数据进行词向量转化，提取序列的词向量作为后续分类模型的输入。

步骤(3)用双向LSTM算法对训练数据词向量序列进行特征提取