[发明专利]基于Transformer增强霍克斯过程的信息级联预测系统及方法

说明书

本发明公开了一种基于Transformer增强霍克斯过程的信息级联预测系统及方法，包括用户嵌入模块、全局依赖模块、局部依赖模块、强度函数获取模块和流行度预测模块，首先获取用户position‑wise嵌入和时间编码作为用户嵌入，然后以拓扑结构的视角，引入路径感知假设，并从全局嵌入和局部模式两个角度设计两层注意力层，参数化霍克斯过程的强度函数，并结合霍克斯过程、全局嵌入和局部模式，学习信息级联扩散过程耦合的时间和拓扑随机特性，以进行流行度预测；本发明扩展了传统的霍克斯过程，并有效地从连续时间域中获取知识，提升流行度预测准确性。

技术领域

本发明属于信息处理技术领域，涉及基于深度学习(Deep Learning)的信息扩散(Information diffusion)、信息级联(Information Cascade)和流行度预测(PopularityPrediction)，尤其涉及一种将Transformer引入霍克斯过程(Hawkes Process)，来对级联的时间特征和拓扑结构进行耦合建模，最终实现流行度预测(Cascade Prediction)的方法及系统(Hawkesformer)。

背景技术

通过Twitter、Facebook和微博等社交媒体平台共享内容，已成为个人对各种话题的表达意见和反应观点的主要渠道。这一趋势产生了大量描述信息传播方式的数据，并为生成、传递和传播信息项带来了前所未有的便利。最初的发布信息(例如，Tweet)以及随后的分享转发(例如，Retweet)形成了一条信息级联，代表了通常所说的信息扩散过程。在其他(非社交媒体)设置中也发现了类似的现象:论文引文、博客空间和电子邮件转发。大量的用户分享行为促成了信息级联的快速和海量传播。信息级联的一项典型任务是预测某一条级联(推文、微博等)，在特定一段时间段后潜在受影响用户的规模，也即流行度预测(信息级联的大小)，这一任务在许多下游应用中会带来巨大的经济和社会价值。例如，了解哪种类型的广告的影响力最大化，可以使得广告投放更精确；预测谣言的潜在影响用户，使得管理员可以及早进行干预以避免严重后果等。

现有的方法主要分为三类：(i)基于特征的模型，主要探索从结构、时间序列、用户内容和简介中提取的特征集；然而，它们依赖于大量手工制作的特征工程，无法从一个领域推广到另一个领域；(ii)概率生成模型，旨在通过时间点过程(TPP)的经典示例来建模事件，包括泊松过程和霍克斯过程；但是现有方法对级联的扩散机制做出了强有力的假设，并且对大规模级联数据的学习能力有限；(iii)深度学习模型，更关注离散时间域中特定快照内的静态时间级联扩散，对整个进化过程和充分利用所有级联动力学的关注很少，主要使用简单的事件序列模型(例如RNN)对级联事件进行建模，或者辅以GNN对时间特征和拓扑特征分开建模；但本质上两者是耦合的，这种分开建模的方式丢失了跨域信息，降低了模型的表达和预测能力。

发明内容

针对当前信息级联预测方法存在的学习能力有限、跨域信息丢失等问题，本发明的目的旨在对级联的扩散过程提供一种新颖的建模方式，将级联扩散的过程概括成在连续时间域上不断扩散的一个有向无环图(DAG)，将Transformer(attention机制)引入霍克斯过程(Hawkes Process)，通过将注意力机制引入霍克斯过程，来对时间特征和拓扑特征在连续时间域上耦合建模，实现对级联扩散过程的有效建模，提高了流行度预测的准确率。

本发明的大致思路为：将两个层级的注意力模块连接在一起，以参数化霍克斯过程的强度函数。该强度函数保证了在连续时域中建模级联的耦合时间和拓扑依赖关系。具体地，在第一层级上，设计了一个全局(global)依赖模块来动态捕获级联中过去已经发生事件的长期扩散过程，并提出了主/非主路径假设，以自适应地将扩散过程集成到底层DAG上。这允许在任何位置参与级联的每个节点更新其当前隐藏状态。在第二层级，设计了一个局部(local)模块，通过对固定时间片窗口中的局部模式进行编码，来捕获信息级联的短期演化率。通过两个层级的设计，我们拿到节点在全局和局部上的表示，最后送进一个全连接层进行流行度预测。