[发明专利]基于深度学习的网络舆情演化仿真方法及系统

权利要求书

1.一种基于深度学习的网络舆情演化仿真方法，其特征在于，所述仿真方法包括如下步骤：

将训练语料集TB输入至BERT模型；

利用LDA主题模型对所述BERT模型中输入词所映射得到的词向量进行优化，得到优化后的词向量；

将所述优化后的词向量输入至所述BERT模型的Transformer编码器中，对所述BERT模型的预训练任务进行情感优化；

在情感优化后的BERT模型的softmax层中构建单层神经网络，作为情感分类器，得到优化后的BERT模型；所述单层神经网络连接所述Transformer编码器输出的文本起始符所对应的输出向量；

利用所述优化后的BERT模型的结构，输入训练语料集TW进行深度预训练，得到深度预训练模型；并将所述深度预训练模型迁移到所述优化后的BERT模型softmax层中的微调模型中，得到情感分类微调模型；

将待分类语料集TC输入所述情感分类微调模型中，得到情感分类结果；

将所述待分类语料集TC输入至BERT模型，进行向量化处理，并将向量化处理后的待分类语料集TC输入LDA主题模型中进行迭代计算，得到文档分布；

融合所述情感分类结果和所述文档分布，得到情感倾向分布；

按照时间顺序对所述情感倾向分布进行划分，得到情感时序仿真结果。

2.如权利要求1所述的一种基于深度学习的网络舆情演化仿真方法，其特征在于，所述训练语料集TB包括中文维基百科语料以及新浪微博和百度贴吧的情感语料。

3.如权利要求1所述的一种基于深度学习的网络舆情演化仿真方法，其特征在于，在将训练语料集TB输入至BERT模型之前，所述仿真方法还包括对训练语料集TB进行分词、去停用词的数据预处理。

4.如权利要求1所述的一种基于深度学习的网络舆情演化仿真方法，其特征在于，所述利用LDA主题模型对所述BERT模型中输入词所映射得到的词向量进行优化，得到优化后的词向量具体包括：

将训练语料集TB输入至BERT模型，进行向量化处理，所述训练语料集TB中的每个词均被映射成一个包含词义向量、文本向量和位置向量的词向量；

将向量化处理后的训练语料集TB输入至LDA主题模型，得到优化后的主题向量，将所述优化后的主题向量嵌入所述BERT模型，对所述BERT模型中输入词所映射得到的词向量进行优化，得到优化后的词向量；所述优化后的词向量包括词义向量、文本向量、位置向量和主题向量。

5.如权利要求1所述的一种基于深度学习的网络舆情演化仿真方法，其特征在于，所述情感分类器用于执行SC任务。

6.如权利要求5所述的一种基于深度学习的网络舆情演化仿真方法，其特征在于，所述BERT模型的softmax层中还包括一个连接在Transformer编码器输出的文本起始符所对应的输出向量的单层神经网络，以执行NSP任务。

7.如权利要求6所述的一种基于深度学习的网络舆情演化仿真方法，其特征在于，所述BERT模型的softmax层中还包括一个连接在Transformer编码器输出的遮盖字所对应的输出向量的单层神经网络，以执行MLM任务。

8.如权利要求7所述的一种基于深度学习的网络舆情演化仿真方法，其特征在于，所述利用所述优化后的BERT模型的结构，输入训练语料集TW进行深度预训练，得到深度预训练模型具体包括：

设置初始学习率、批量大小、dropout率和Epoch训练次数；

将所述MLM任务、所述NSP任务和所述SC任务的损失和作为深度预训练的损失函数；

输入训练语料集TW进行深度预训练，在训练过程中，采用Adam优化算法确定最佳学习率，使用AUC作为检验模型训练效果的指标，并采用F1分数确定正、负情感分类的最佳阈值，得到深度预训练模型。

9.如权利要求1所述的一种基于深度学习的网络舆情演化仿真方法，其特征在于，所述Transformer编码器将多头机制和前馈层通过残差网络结构连接。

10.一种基于深度学习的网络舆情演化仿真系统，其特征在于，所述仿真系统包括：

输入模块，用于将训练语料集TB输入至BERT模型；

词向量优化模块，用于利用LDA主题模型对所述BERT模型中输入词所映射得到的词向量进行优化，得到优化后的词向量；

情感优化模块，用于将所述优化后的词向量输入至所述BERT模型的Transformer编码器中，对所述BERT模型的预训练任务进行情感优化；

优化BERT模型获取模块，用于在情感优化后的BERT模型的softmax层中构建单层神经网络，作为情感分类器，得到优化后的BERT模型；所述单层神经网络连接所述Transformer编码器输出的文本起始符所对应的输出向量；

情感分类微调模型获取模块，用于利用所述优化后的BERT模型的结构，输入训练语料集TW进行深度预训练，得到深度预训练模型；并将所述深度预训练模型迁移到所述优化后的BERT模型softmax层中的微调模型中，得到情感分类微调模型；

情感分类结果获取模块，用于将待分类语料集TC输入所述情感分类微调模型中，得到情感分类结果；

文档分布获取模块，用于将所述待分类语料集TC输入至BERT模型，进行向量化处理，并将向量化处理后的待分类语料集TC输入LDA主题模型中进行迭代计算，得到文档分布；

情感倾向分布获取模块，用于融合所述情感分类结果和所述文档分布，得到情感倾向分布；

情感时序仿真结果获取模块，用于按照时间顺序对所述情感倾向分布进行划分，得到情感时序仿真结果。