[发明专利]基于BERT模型和增强混合神经网络的不实信息检测方法

权利要求书

1.基于BERT模型和增强混合神经网络的不实信息检测方法，其特征在于，利用增强混合神经网络的不实信息检测模型进行不实信息检测，不实信息检测模型包括依次连接的CNN网络、BiLSTM网络、注意力层和输出层，所述不实信息检测方法包括以下步骤，

步骤1：对待检测文本进行预处理；

步骤2：使用CNN网络对输入矩阵进行卷积、池化操作，拼接成特征序列；

步骤3：将特征序列作为BiLSTM网络的输入，分别利用前向LSTM单元、后向LSTM单元从前向、后向两个方向全面捕捉文本深层次的语义特征；

步骤4：利用注意力层生成含有注意力分布的语义编码，优化特征向量；

步骤5：利用输出层的分类器完成特征向量的分类检测，判断是否为不实信息。

2.根据权利要求1所述的基于BERT模型和增强混合神经网络的不实信息检测方法，其特征在于，步骤1中，所述对待检测文本进行预处理，包括数据清洗、数据标注、过滤停用词和分字处理，还包括利用BERT模型对文本进行处理。

3.根据权利要求2所述的基于BERT模型和增强混合神经网络的不实信息检测方法，其特征在于，所述利用BERT模型对文本进行处理包括编码阶段和生成向量阶段：编码阶段，通过查询词典将文本中的每个词进行编码转化成编码向量，并附加每个编码向量对应的位置向量，以及每个编码向量所属的句子分割向量；生成向量阶段，将编码向量、位置向量、句子分割向量送入BERT模型进行训练学习，输出融合了全文语义信息的向量表示。

4.根据权利要求1所述的基于BERT模型和增强混合神经网络的不实信息检测方法，其特征在于，所述CNN网络包括3种不同尺寸的卷积核，卷积核大小分别为3*h、4*h、5*h，h为输入CNN网络的词向量的维度。

5.根据权利要求1-4任意一项所述的基于BERT模型和增强混合神经网络的不实信息检测方法，其特征在于，步骤4中，所述利用注意力层生成含有注意力分布的语义编码，计算BiLSTM不同时刻隐层的输出h₀，h₁，h₂，…，h_v，对应分配的注意力概率分布值α₀，α₁，α₂，…，α_v，利用softmax分类器进行归一化，得到的聚焦化的向量s_i是所有向量的加权和，计算式如下：

u_i＝w^T tanh(Wh_i+b_h)

式中h_i为在第i时刻隐藏层的输出状态，包括前馈输出和反馈输出a_i为注意力分配系数，σ_w表示上下文信息的参数矩阵，W是权重转化矩阵，b_h为偏置量，tanh为非线性激活函数。