[发明专利]一种基于主题感知注意力网络的信息传播预测方法

说明书

本发明公开了一种基于主题感知注意力网络的信息传播预测方法，将主题上下文和传播历史上下文整合到用户表示中进行预测。主题上下文支持针对特定主题的传播模式建模，而传播历史上下文可以进一步分解为用户依赖建模和位置依赖建模。随后，我们可以使用编码得到的用户上下文来构建多主题下的用户表示。然后，我们通过一个时间衰减聚合模块进一步集成用户表示，从而获取级联表示。其中，所有这些模块都是由信息传播的特征驱动的。因此，我们提出的基于主题感知注意力网络的信息传播预测方法可以更好地拟合真实世界的扩散数据，并更准确地预测。此外，在传统的主题感知模型中需要使用预定义好的主题分布，而采用本发明方法主题可以自动学习。

技术领域

本发明涉及网络技术领域，尤其涉及一种基于主题感知注意力网络的信息传播预测方法。

背景技术

推特、新浪微博等网络社交平台吸引了数以百万计的用户，每天都有大量的信息在用户之间传播。信息传播的过程，也称为级联，对传播模式以及用户行为的建模被广泛应用在许多领域中，如流行性预测，流行病学和个性化推荐。下一个用户预测作为一种流行的微观级联预测任务在近年来得到了广泛的研究。这个问题被定义为给定信息项随时间排序的用户感染序列，预测下一个被感染的用户(按照惯例，研究人员将使用“感染”、“激活”或“影响”来描述用户与信息项存在交互)。

传统的微观级联预测方法包含有基于独立级联模型(IC)的方法以及基于嵌入的方法。独立级联模型为每个用户对之间分配一个独立的扩散概率，许多级联扩散模型都是建立在该模型的基本假设上的，通过额外考虑更多的信息，如连续时间戳和用户属性，对独立级联模型进行扩展。另外存在一些研究探讨了主题信息对级联建模的影响。TIC首次从主题感知的角度研究了信息传播预测任务，主要思路是通过为每个用户对之间设置特定的主题概率。

随着研究推进，研究人员提出了基于嵌入的方法来进行级联预测，通过利用表示学习技术提高模型的表达能力，将用户嵌入到连续的潜在空间中，通过用户嵌入函数计算每个用户对之间的传播概率，而不是直接估计一个实值参数。然而，基于IC的方法和基于嵌入的方法都没有考虑级联历史序列信息的建模。最近的工作已经表明这些模型不如基于考虑级联序列的深度学习模型有效。

随着深度学习的成功，循环神经网络(RNNs)在建模信息传播方面表现出了较强的能力。TopoLSTM扩展了标准LSTM模型，通过社会图中提取的有向无环图(DAG)构建隐藏状态。CYAN-RNN和DeepDiffuse结合循环神经网络与注意力机制从而考虑传播结构。RecCTIC提出了一种用于捕获树依赖的贝叶斯拓扑RNN模型。Diffusion-LSTM利用图像信息辅助预测，建立Tree-LSTM模型来推断传播路径。FOREST对GRU模型进行了扩展，设计一种额外的结构上下文提取策略来利用底层的社交图信息。

最近，一些注意力网络被提出用于更好地捕捉级联序列中的传播依赖。HiDAN构建层次注意力网络，采用注意力机制捕捉级联中的非序列结构，从级联中挖掘真实的依赖关系，同时结合用户的时间戳信息设计时间衰减模块，联合建模用户依赖与时间衰减，极大的提高了模型的表达能力以及可解释性。

随着深度学习技术的发展，一些文献将信息传播级联建模为感染序列，采用循环神经网络取得了良好的效果。虽然级联通常表示为一个用户序列，按感染时间戳排序，但真实的传播过程通常不是严格有序的，其依赖于未观察到的用户连接图。因此，其他一些研究采用注意力机制捕获非顺序长期传播依赖。

然而，现有的基于神经网络的方法假设所有信息项的传播行为和模式是同质的。这种假设在现实世界中可能不成立。在真实的信息传播场景中，用户对不同主题的信息项可能会有不同的行为模式。从直观上看，用户的兴趣通常是多种多样的，根据信息项的主题，用户的传播行为也可能是多种多样的。例如，用户可能分别在不同的主题下关注不同人然后转发不同信息，因此具有特定于主题的依赖关系。现有的基于神经网络的方法很少利用信息文本，没有考虑建模主题感知的传播模式和用户行为，无法建模特定主题下的传播模式和依赖关系，限制了模型的表达能力。而传统的非神经方法已经证明了主题对用户的影响。