[发明专利]一种基于主题感知注意力网络的信息传播预测方法

权利要求书

1.一种基于主题感知注意力网络的信息传播预测方法，其特征在于，包括以下步骤：

S1、将主题上下文和传播历史上下文整合到用户表示中进行预测；

S2、主题上下文支持针对特定主题的传播模式建模，传播历史上下文进一步分解为用户依赖建模和位置依赖建模；

S3、使用编码得到的用户上下文来构建多主题下的用户表示；步骤S3中的编码方法为：

主题上下文：

对每个主题k计算用户嵌入和传播文本嵌入y_i之间的余弦相似度，并用softmax函数对其进行归一化：

其中k＝1，2，...，K，并且代表用户在第k个主题下的权重；集合主题上下文的用户嵌入表示为

传播历史上下文：

级联序列中与先前用户的依赖的注意力权重由下面公式计算：

其中分别用于对目标用户以及先前用户进行主题特定的线性映射；

用户与用户之间完整的注意力分数和权重用来描述传播历史上下文，并通过以下公式计算：

其中是从位置m到位置j的位置依赖分数；

完整的上下文感知的多主题用户表示：

将第k个主题中的用户表示为先前感染用户的加权和：

主题上下文的权重和位置依赖得分在不同的层之间共享；

S4、通过时间衰减聚合模块进一步集成用户表示，从而获取多主题级联表示，继而预测下一个受感染用户；

其中各模块均由信息传播的特征驱动。

2.根据权利要求1所述的基于主题感知注意力网络的信息传播预测方法，其特征在于，步骤S1的具体方法为：

给定用户集合U，级联集合V和传播信息集合M，M中第i个信息项的传播序列被定义为级联其中元组表示用户在时刻被转发，且序列按照感染时间排序，传播预测任务定义为给定级联c_i的传播文本和先前的感染用户序列预测下一个感染用户为其中n＝1，2，…，|c_i|-1。

3.根据权利要求2所述的基于主题感知注意力网络的信息传播预测方法，其特征在于，步骤S2中传播模式建模是利用预训练语言模型BERT对传播信息文本的语义信息进行编码，具体为通过一个全连接层将由BERT编码的文本嵌入转换为传播文本嵌入

y_i＝W_xx_i+b_x                      (1)

其中W_x和b_x分别为权重矩阵和偏置向量。

4.根据权利要求3所述的基于主题感知注意力网络的信息传播预测方法，其特征在于，步骤S2中用户依赖建模使用嵌入矩阵编码用户，其中|U|代表用户人数，K，d分别代表主题数以及嵌入维度。

5.根据权利要求4所述的基于主题感知注意力网络的信息传播预测方法，其特征在于，对于级联序列中的每个用户用户嵌入为其中是用户在第k个主题下的用户嵌入。

6.根据权利要求5所述的基于主题感知注意力网络的信息传播预测方法，其特征在于，步骤S2中位置依赖建模是针对每个位置设定一个可学习的位置嵌入pos_j，其中pos_j在所有级联中共享。

7.根据权利要求1所述的基于主题感知注意力网络的信息传播预测方法，其特征在于，步骤S4中时间衰减聚合模块的建模方法为：

将连续时间衰减转化为离散时间间隔：

其中t_l通过将时间范围[0，T_max]分割成L个子区间{[0，t₁)，...，[t_L-1，T_max)}，其中T_max是数据集中的最大时间戳，对于每个主题，每个时间间隔都有相应的可学习权重