[发明专利]基于决策树与共同注意力协作的假新闻检测系统及方法

权利要求书

1.基于决策树与共同注意力协作的假新闻检测方法，所述方法采用一种基于决策树与共同注意力协作的假新闻检测系统，所述系统包括：

基于决策树的证据模型，用于将多种因素作为决策条件，并选择高可信度评论作为证据；

共同注意力模型，用于使被选中的证据与待检测新闻进行深层语义交互；

任务学习模块，用于将深度语义交互信息输入到Softmax中进行概率分布的预测；

其特征在于，所述方法包括以下步骤：

步骤0：给定数量为N的数据集其中，x_i指一条待检测可信度的新闻，R_i为包含m条相关评论的集合R_i＝{R₁,R₂,…,R_m}，y_i表示真假二分类标签；

步骤1：构建基于层次性评论构建树形网络；

树形网络的根节点是验证的新闻，第二层节点为用户对该新闻的直接评论R₁₁,R₁₂,…,R_kn；其中k和n分别表示树形网络的深度和最后一层的节点宽度，第三层及以下节点是按照现实情况下层次性评论中对评论的回复进行建立的；

步骤2：构建基于可信度视角的决策树来选择树形网络中具有高可信度的评论作为证据；其中，决策树中每个决策节点包括一个决策条件和两个决策边；

步骤3：当树形网络中评论节点被决策树模型进行评估后，利用后剪枝算法选择树形网络子树作为证据集来用于后续的训练；

步骤4：采用共同注意力模型使选择的证据与新闻进行交互；

步骤5：对证据序列与新闻序列进行嵌入表示；

对于任意一条长度为l的序列X＝{w₁,w₂,…,w_l}，其中，每个词的嵌入w_i是一个由预训练BERT模型获得的d₁维向量；最终形成新闻嵌入序列X^c和证据嵌入序列X^e；

步骤6：对序列进行编码；

采用BiLSTM模型对新闻嵌入序列X^c和证据嵌入序列X^e进行编码，如下：

其中，和分别是前向LSTM和后向LSTM的隐藏层，H是LSTM的隐藏层单元，表示拼接操作；最终，获得新闻序列的编码以及证据序列的编码

步骤7：证据编码与新闻编码通过共同自注意力进行深度语义交互；共同自注意力构建了两个层次自注意力网络；其中，自注意力网络如下：

其中，和分别为查询矩阵，键矩阵以及值矩阵；d是K的尺度值；

步骤8：自注意力网络首先映射查询矩阵、键矩阵和值矩阵j次，然后这j次映射并行地执行多尺度点乘注意力，最终将所有的执行结果拼接起来形成一个全新的表示，如下：

Head_i＝Attention(QW_i^Q，KW_i^K，VW_i^V) (5)

O′＝MultiHeadAttention(Q，K，V)＝Concat(head₁，head₂，，head_j)W^o (6)

其中，和是训练参数矩阵，且d₂是2h/j；

步骤9：共同自注意力网络通过一个前馈网络FFN来增强非线性特征以及尺度不变的特征，其形式化为：

O＝FFN(O')＝max(0,O'W₁+b₁)W₂+b₂ (7)

其中，W₁和b₁和分别是可学习的参数矩阵；

在第一个层次自注意力网络中，是证据序列编码的最大池化向量，K＝V＝R^c，R^c为新闻序列编码，T表示转置，通过公式(4)-(7)获得针对新闻的第一个自注意力网络的输出向量C；

在第二个层次自注意力网络中，Q＝C，K＝V＝R^e，R^e为证据序列编码，通过公式(4)-(7)获得针对证据的第二层次自注意力网络的输出交互向量E；

步骤10：融合最终的交互输出；

采用绝对差和元素乘积来融合针对新闻的输出交互向量C和针对证据的输出交互向量E；

EC＝[E；|E-C|；E⊙C；C] (8)

其中，“；”表示拼接操作，⊙表示元素点对点的乘积操作；

步骤11：将融合的最终交互输出输入到Softmax函数中进行概率分布的预测，并借助交叉熵误差来训练一个标签为y的样本，如下：

p＝Softmax(W_pEC+b_p) (9)

Loss＝-∑ylogp (10)

其中，W_p和b_p均为可训练参数矩阵。

2.根据权利要求1所述的基于决策树与共同注意力协作的假新闻检测方法，其特征在于，所述步骤2中，从新闻内容和元数据两个视角构造了三种决策条件：新闻与评论的语义相似度、评论用户的可信度以及评论的可信度，具体如下：

(1)新闻与评论的语义相似度：采用软余弦来测量新闻与评论之间的平均词嵌入作为新闻与评论之间的语义相似度；

(2)评论用户的可信度：利用评论用户的多种元数据特征来评估其可信度，元数据特征包括是否验证，是否存在地理位置信息，是否存在昵称，是否存在头像，以及粉丝量、好友量和关注量；

(3)评论的可信度：利用评论的多种元数据评估评论语义的可信度，元数据特征包括：是否包括地理位置信息、来源信息、是否喜欢这条评论，以及点赞量和评论的内容长度。