[发明专利]基于注意力机制的跨社交媒体用户身份识别方法及系统

权利要求书

1.一种基于注意力机制的跨社交媒体用户身份识别方法，其特征在于，包括以下步骤：

获取不同社交媒体上多个用户的不同模态的数据作为训练数据；

对于不同模态的数据，分别采用不同的模型学习数据的潜在表示，训练用户身份识别模型：

结合时序关系和不同模态数据的置信度，计算不同社交媒体上用户之间数据的相似度；计算不同社交媒体上用户之间数据的相似度包括：

计算不同社交媒体上用户之间不同模态数据的相似度；

结合时序关系计算不同社交媒体上用户数据之间的时间衰减参数，修正上述相似性；

基于注意力机制为不同模态的数据分配置信度，对不同模态数据之间的相似度加权得到综合的相似度；

使用多层感知机将用户之间相似度映射到概率空间，得到不同社交媒体上用户指向同一用户实体的概率；

采用交叉熵构建目标函数，对模型参数进行迭代优化求解；

所述模型用于针对不同社交媒体上的不同模态数据确定是否指向同一用户。

2.如权利要求1所述的一种基于注意力机制的跨社交媒体用户身份识别方法，其特征在于，所述不同模态的数据为文本数据和图像数据；对于文本数据，通过双向长短期记忆网络学习数据的潜在表示；对于图像数据，采用残差神经网络和全连接网络学习数据的潜在表示。

3.如权利要求1所述的一种基于注意力机制的跨社交媒体用户身份识别方法，其特征在于，将社交媒体O₁中的用户发布的第k条数据表示为将O₂中用户发布的第g条数据中的文本信息表示为第g条数据中的图片信息表示为经过学习得到的潜在表示分别表示为不同社交媒体上用户之间不同模态数据的相似度计算方法为：

其中，和分别指和和之间的相似度，i表示第i个用户。

4.如权利要求3所述的一种基于注意力机制的跨社交媒体用户身份识别方法，其特征在于，时间衰减参数计算方法为：

其中，r_k，g代表时间衰减参数，p_k和q_g分别是和的时间戳；

根据时间衰减参数修正相似性为：

其中，和分别结合时序关系之后和和之间的相似度。

5.如权利要求4所述的一种基于注意力机制的跨社交媒体用户身份识别方法，其特征在于，不同模态置信度的计算方法为：

[α_v，α_c]＝softmax(a^Tcon(h_v，h_c))其中，α_v和α_c分别代表模型为视觉和文本模态分配的不同的置信度；和分别为用户的第g条数据与用户的全局视觉相似性分布和全局文本相似性分布；W_v，W_c，b_v和b_c是模型参数，con(·)代表级联操作；

用户的每条与的相似度如下：

6.如权利要求5所述的一种基于注意力机制的跨社交媒体用户身份识别方法，其特征在于，

整合一段时间内用户所有G条数据与用户的相似度d＝[d₁，d₂，…，d_G]；

使用多层感知机将用户之间相似度映射到概率空间：

其中，代表用户和指向统一用户实体的概率，w和b是模型参数；

构建目标方程：

其中，y_i代表用户和是否指向统一用户实体的标签。