[发明专利]一种基于文本数据的金融舆情识别方法及系统

权利要求书

1.一种基于文本数据的金融舆情识别方法，其特征在于：包括以下过程：

获取新闻文本数据以及评论文本数据；

对获取的文本数据进行预处理；

根据预处理后的文本数据和预设Bert模型，提取新闻文本数据和评论文本数据中的表征向量集合；

根据得到的表征向量集合和预设DE-Former模型，得到舆情分类结果；具体过程包括：

将预处理好的数据送入DE-Former模型得到输出结果，模型的输入是经过筛选后t天的内每一天Top-K的新闻文本与评论；对于新闻本文数据，使用在大量金融文本上预训练的Bert作为新闻本文的特征提取器，而对于评论文本数据，则使用利用评论情感分类数据集微调后的Bert模型作为特征提取器；在获取到每条新闻和评论的表征向量之后，采用attention机制以天为单位获取每天新闻和评论相对应的总的特征向量表示，公式如下所示：

u_ti＝sigmod(W_nn_ti+b_n)

首先将提取到的每篇新闻或评论的特征向量n_ti送入一层网络得到相对应的注意力值u_ti，之后利用sofmax函数将所有的注意力值标准化为对应新闻或评论的权重值s_ti，最终结合权重和对应的表征向量得到一天的新闻以及评论的向量表示a_t；因此最终得到的DE-Fomer模型的输入向量D＝[a_tn，a_tc]，t∈[1，N]，其中N表示输入序列的长度，a_tn表示一天新闻文本的向量，a_tc表示一天评论文本的向量；

之后将得到的每天分别基于新闻文本和评论文本的特征向量序列送入到对应的encoder结构中；Encoder中最主要的结构是自注意力层，相关计算公式如下：

其中，Q是查询向量，K是键向量，V是值向量，d^K是键向量的维数，计算过程中Q、K、V均为每天的新闻或评论的表征向量；新闻文本和评论文本向量在完成Encoder层特征提取之后，在Merger层中完成两者以天为单位的融合，具体公式如下所示：

z_i＝concatenate(o_in，o_ic)

m_i＝tanh(W_iz_i+b_i)

其中，o_in和o_ic分别表示第i天新闻文本和评论文本向量经过encoder后的输出向量，z_i是它们简单拼接后的结果。

2.如权利要求1所述的金融舆情识别方法，其特征在于：包括以下过程：

通过网络爬虫收集金融相关的客观新闻文本数据以及评论文本数据。

3.如权利要求1所述的金融舆情识别方法，其特征在于：包括以下过程：

对获取的文本数据进行清洗、过滤和筛选预处理。

4.如权利要求1所述的金融舆情识别方法，其特征在于：包括以下过程：

采用attention机制以天为单位获取每天新闻文本数据和评论文本数据相对应的总的特征向量表示。

5.如权利要求1所述的金融舆情识别方法，其特征在于：

预设DE-Former模型中，采用交叉熵作为损失函数，损失函数为：其中，y是训练样本的标签，是模型输出的训练样本属于正例的概率。

6.如权利要求1所述的金融舆情识别方法，其特征在于：包括以下过程：

预设DE-Former模型中，采用Adam算法进行模型优化。