[发明专利]一种基于注意力机制的多源异构数据身份识别方法

权利要求书

1.一种基于注意力机制的多源异构数据身份识别方法，其特征在于，

步骤S1：在行人行进路线上安装多个人脸摄像头，抓拍人脸图片，同时记录抓拍时间和地点；

步骤S2：利用搭建好的人脸识别系统识别人脸图片，通过比对黑名单库的人脸图片，返回与黑名单库里人脸图片比对相似度最高的10个黑名单库里的编号ID，以及比对相似度结果数据；

步骤S3：在行人行进轨迹上，时间间隔，表示两组IDs的时间间隔不超过最大时间阈值和空间轨迹的条件规则，对比不同的抓拍地点抓拍到的人脸图片返回的IDs结果，把IDs编号吻合度最高一组IDs组合；

步骤S4：利用外部数据生成一个嵌入向量v1，与IDs相似度生成的向量串联成一个新的向量v2，将新的向量v2输入local注意力机制模型，给每个ID相似度重新分配权重，得到新的IDs相似度向量v3；

步骤S5：将多个人脸摄像头抓拍点抓拍人脸图片的时间截点、天气数据、及抓拍点的周边建筑数据，通过one-hot编码成外界因素向量v4；将向量v4输入空间注意力机制，给每个抓拍点重新分配权重；注意力机制处理后的IDs相似度向量v3和每个点的分配权重对IDs相似度向量v3重新再分配，得到组合的再分配IDs相似度向量组合；

步骤S6：将IDs相似度向量组合输入融合模块Fusion IDs，输出为多点IDs相似度融合向量v7；

步骤S7：新的向量v7经过多层神经网络及softmax层得到一个概率分布结果；利用大量的标签数据通过交叉熵损失函数离线训练模型；

步骤S8：利用步骤S7训练好的模型，得到新的概率分布结果，概率最高的结果所对应的黑名单编号就是识别身份对象，从而实现了身份识别；

其中，所述步骤S4的公式为：

其中表示外界因素嵌入向量，表示IDs的相似度嵌入向量；表示串联向量与；W与b是学习参数；,其中表示第i个ID对应的相似度参数；表示第i个ID对应的相似度权重。

2.根据权利要求1所述的基于注意力机制的多源异构数据身份识别方法，其特征在于，所述步骤S3的具体步骤为：

在多个抓拍点分别选择候选人脸图片集，利用抓拍点与抓拍点之间的轨迹关系以及它们的最大时间阈值，通过比对人脸识别系统返回的身份编号IDs，选择一组最佳的身份编号IDs组合，这个组合表示同一个人在不同抓拍点返回的IDs组合。

3.根据权利要求1所述的基于注意力机制的多源异构数据身份识别方法，其特征在于，所述步骤S5的公式为：

其中表示每个抓拍点的外界因素的嵌入向量；W与b是学习参量；表示第i个抓拍点的重要程度。

4.基于权利要求1所述的基于注意力机制的多源异构数据身份识别方法，其特征在于，所述步骤S6的公式为：

表示同一个ID在多个抓拍点权重分配相似度之和；表示在第l个抓拍点的权重；表示其中某个在第l个抓拍点的相似度；最后将通过normal函数生成下一级网络的输入。