[发明专利]一种利用自注意力机制构建的社会交互组检测方法

权利要求书

1.一种利用自注意力机制构建的社会交互组检测方法，其特征在于，包括

提取图像中交互要素；

从所述交互要素中提取特征，并模仿自注意力机制进行融合，获取交互强度特征；

基于所述交互强度特征，优化网络；

利用优化过的网络对图像中的交互组进行检测。

2.根据权利要求1所述的一种利用自注意力机制构建的社会交互组检测方法，其特征在于，

所述交互要素包括每个人的姿态热力图和每个人的边界框；

所述从交互要素中提取的特征包括每个人的个人特征和任意两个人之间的距离特征。

3.根据权利要求2所述的一种利用自注意力机制构建的社会交互组检测方法，其特征在于，通过姿态估计网络从图像中提取每个人的姿态热力图和每个人的边界框位置信息。

4.根据权利要求2所述的一种利用自注意力机制构建的社会交互组检测方法，其特征在于，其特征在于：所述对交互要素进行特征提取，包括：

利用卷积层和全连接层对所述姿态热力图提取每个人的个人特征；

计算图像中两个人的所述边界框之间的相对位置距离并进行编码，得到相对位置编码；

对所述相对位置编码降维，获取任意两个人之间的距离特征。

5.根据权利要求2所述的一种利用自注意力机制构建的社会交互组检测方法，其特征在于，所述模仿自注意力机制进行融合，获取交互强度特征，包括：

对所述图像中任意两个人的个人特征进行处理，获得任意两个人之间的交互强度；

对所述的相应的两个人的距离特征进行处理，获得距离特征反比；

对所述交互强度和所述距离特征反比进行处理，获得交互权重；

对所述交互权重进行处理并结合所述个人特征，获得交互强度特征。

6.根据权利要求5所述的一种利用自注意力机制构建的社会交互组检测方法，其特征在于，所述交互强度的获取，包括：

将图像中任意两个人的个人特征先后通过两个全连接层；

将所述通过全连接层的个人特征，进行缩放点积，得到任意两个人之间的交互强度。

7.根据权利要求5中所述的一种利用自注意力机制构建的社会交互组检测方法，其特征在于，所述距离特征比反比的获取，包括：

对相应的两个人之间的距离特征进行反比操作，获得距离特征反比。

8.根据权利要求5中所述的一种利用自注意力机制构建的社会交互组检测方法，其特征在于，所述交互权重的获取，包括：

将所述交互强度和距离特征反比结合并进行Softmax操作，获取交互权重。

9.根据权利要求5中所述的一种利用自注意力机制构建的社会交互组检测方法，其特征在于，所述交互强度特征的获取，包括：

对所述个人特征进行仿射变换；

将所述仿射变换结果与所述交互权重进行张量积；

获取交互强度特征。

10.根据权利要求5所述的一种利用自注意力机制构建的社会交互组检测方法，其特征在于，所述基于所述交互强度特征，优化网络，包括：

用全连接层和对称性操作将所述交互强度特征转换为交互概率矩阵；

将图像中每两个人之间的所述交互概率建立成对交互损失；

基于所述交互概率矩阵的模块度，从全局分组角度构建群体损失；

将所述交互损失和所述群体损失线性组合，联合优化整个网络。