[发明专利]一种基于Transformer的社交关系识别方法

摘要

本发明提出了一种基于Transformer的社交关系识别方法，主要涉及深度学习中通过Transformer提取与推理相关特征并进行社交关系识别的问题。首先，通过特征提取模块提取相关特征；然后，利用特征推理模块推理特征间的联系并形成关系、场景结点，引入残差块传递人物对信息至分类层；最后，构建全连接的社交关系‑场景图，利用GGNN进行图推理后融合残差块进行社交关系分类。本发明充分考虑社交关系识别相关的特征提取，利用Transformer挖掘了人物对特征间的内在联系并引入图神经网络推理关系之间的逻辑关系，解决了社交关系识别中特征提取不充分、特征融合方式过于粗糙及推理识别分类不合理的问题。