[发明专利]一种利用自注意力机制构建的社会交互组检测方法

说明书

本发明提供一种利用自注意力机制构建的社会交互组检测方法，包括：提取交互要素；从所述交互要素提取特征，并模仿自注意力机制进行融合，获取交互强度特征；基于所述交互强度特征，优化网络；利用优化过的网络对图像中交互组进行检测。本发明能够仅从图像信息中实现图像中人与人之间交互强弱的量化，并识别出图像中的社会交互组。

技术领域

本发明属于计算机视觉技术领域，涉及一种利用自注意力机制构建的社会交互组检测方法。

背景技术

人类天生就是群居动物，所以很容易产生互动，从而形成社会群体。社交场景中交互群体的自动检测具有广阔的应用前景，如群体重识别和人群异常检测。在突发公共卫生事件期间，这项技术还有助于流行病学调查和接触者追踪。社会交互是指：试图影响或考虑他人主观体验或意图的行为。通过社会交互形成的组称为社会交互组。因此，我们认为主观意图对于检测交互组也很重要。相较于根据动作相似性而判断的交互组，这里的交互组定义更加严格。

现有的人类交互识别可以分为：(1)基于社会学的方法。一个重要的概念是 F-formation，它被定义为人类在社交互动中保持的内在空间模式，其特点根据图像中每个人的位置来寻找预先定义的交互组的形状(如O形)以实现交互组的判断。然而，这种方法通常需要诸如头部方向和位置之类的信息。在实际场景中，并不容易直接获取。 (2)基于动作的方法。其特点是根据预先定义的动作类型进行交互组的寻找。这类方法虽然取得了较好的结果，但是通常涉及有限的一组动作，这对于可能发生无限多种动作的通用交互识别来说是并不是最优的。(3)还有一种方法是通过利用几何和社会关系实现对人类交互的识别。然而，面部信息对于这个模型是必不可少的，在许多拥挤的场景中，由于遮挡可能很难检测到人脸。

发明内容

针对现有技术中的缺陷，本发明提供一种利用自注意力机制构建的社会交互组检测方法。

根据本发明的一个方面，一种利用自注意力机制构建的社会交互组检测方法，包括：

提取交互要素；

从所述交互要素提取特征，并模仿自注意力机制进行融合，获取交互强度特征；

基于所述交互强度特征，优化网络；

利用优化过的网络对图像中的交互组进行检测。

优选地，所述交互要素包括每个人的姿态热力图和每个人的边界框；

所述从所述交互要素中提取的特征包括每个人的个人特征和任意两个人之间的距离特征。

优选地，所述提取交互要素，包括：利用姿态估计网络提取图像中每个人的姿态热力图和每个人的边界框位置信息。

优选地，所述对交互要素进行特征提取，包括：

从所述姿态热力图利用卷积层和全连接层提取每个人的个人特征；

计算图像中两个人的所述边界框之间的相对位置距离并进行编码，得到相对位置编码；

对所述相对位置编码降维，获取任意两个人之间的距离特征。

优选地，所述模仿自注意力机制进行融合，获取交互强度特征，包括：

对所述图像中任意两个人的个人特征进行处理，获得任意两个人之间的交互强度；

对所述的相应的两个人的距离特征进行处理，获得距离特征反比；

对所述交互强度和所述距离特征反比进行处理，获得交互权重；

对所述交互权重进行处理并结合所述个人个特征，获得交互强度特征。

优选地，所述交互强度的获取，包括：

将图像中任意两个人的个人特征，先后通过两个全连接层；