[发明专利]基于深度学习的网络舆情演化仿真方法及系统

说明书

本发明涉及基于深度学习的网络舆情演化仿真方法及系统，涉及自然语言处理中的文本情感分析技术领域。对BERT模型的预训练任务进行改进，并在此基础上叠加深度预训练任务，还借助于与LDA主题模型深度融合以实现主题视角下细粒度的舆情仿真分析。将待分类语料集TC输入情感分类微调模型中，得到情感分类结果，再将待分类语料集TC输入至BERT模型，进行向量化处理，并将向量化处理后的待分类语料集TC输入LDA主题模型中进行迭代计算，得到文档分布，然后融合情感分类结果和文档分布，得到情感倾向分布，并按照时间顺序对情感倾向分布进行划分，得到情感时序仿真结果，从而得到更加细粒度和精准的文本主题聚类和舆情演化仿真结果。

技术领域

本发明涉及自然语言处理中的文本情感分析技术领域，特别是涉及一种基于深度学习的重大突发事件网络舆情演化仿真方法及系统。

背景技术

传统的舆情情感演化仿真常用方法为情感词典法和有监督的机器学习方法。近年来，深度学习逐渐取代了传统的情感仿真，长短期记忆神经网络(Long Short-TermMemory，LSTM)是深度学习领域中被广泛运用的特殊递归神经网络，通过内嵌遗忘门和输入门机制，一定程度上缓解了一般循环神经网络 (Recurrent Neural Network，RNN)无法解决的长距离依赖问题。然而，对于特别长期的依赖，LSTM依然无能为力。因此，Vaswani等人构建了Transformer 模型，通过自注意力机制仿真建模取代传统的Word2Vec词向量嵌入，有效解决了自然语言处理(Natural Language Processing，NLP)中棘手的长期依赖问题。随后，Devlin等人在Transformer模型的结构基础上构建了BERT预训练模型，一举打破GLUEbenchmark 11项NLP测试任务的最高纪录。

尽管BERT在多项NLP任务中表现卓越，但由于BERT在预训练阶段缺乏大规模情感语料的输入，使其在执行情感分析任务时存在一定瓶颈。此外，基于BERT的情感仿真难以对隐藏在海量文本背后的语义进行主题细粒度挖掘。

发明内容

本发明的目的是提供一种基于深度学习的网络舆情演化仿真方法及系统，对BERT模型的预训练任务进行改进，并在此基础上叠加深度预训练任务，还借助于与LDA主题模型深度融合以实现主题视角下细粒度的舆情仿真分析，从而实现更精准的舆情情感分类。

为实现上述目的，本发明提供了如下方案：

一种基于深度学习的网络舆情演化仿真方法，所述仿真方法包括如下步骤：

将训练语料集TB输入至BERT模型；

利用LDA主题模型对所述BERT模型中输入词所映射得到的词向量进行优化，得到优化后的词向量；

将所述优化后的词向量输入至所述BERT模型的Transformer编码器中，对所述BERT模型的预训练任务进行情感优化；

在情感优化后的BERT模型的softmax层中构建单层神经网络，作为情感分类器，得到优化后的BERT模型；所述单层神经网络连接所述Transformer 编码器输出的文本起始符所对应的输出向量；

利用所述优化后的BERT模型的结构，输入训练语料集TW进行深度预训练，得到深度预训练模型；并将所述深度预训练模型迁移到所述优化后的 BERT模型softmax层中的微调模型中，得到情感分类微调模型；

将待分类语料集TC输入所述情感分类微调模型中，得到情感分类结果；

将所述待分类语料集TC输入至BERT模型，进行向量化处理，并将向量化处理后的待分类语料集TC输入LDA主题模型中进行迭代计算，得到文档分布；

融合所述情感分类结果和所述文档分布，得到情感倾向分布；

按照时间顺序对所述情感倾向分布进行划分，得到情感时序仿真结果。