[发明专利]多对象场景无接触交互检测方法

权利要求书

1.一种多对象场景无接触交互检测方法，其特征是，利用关系对嵌入网络PRE-Net，通过聚合场景中的个体以及群体信息、短期以及长期信息得到关系对，通过计算交互关系矩阵、计算个体交互类别向量、计算全局交互类别向量，从而进行交互预测和识别。

2.如权利要求1所述的多对象场景无接触交互检测方法，其特征是，具体步骤如下：

步骤S1：个体信息提取

(a)短期视频段分割

对于一输入视频序列，将其分割成K个等长的视频片段，对每个视频片段进行较短间隔的采样，得到个N视频帧，对于具有K个片段的视频序列，最终得到K×N个视频帧；

(b)空间信息提取

对于第t帧的第i个个体，将其2D位置向量表示为：

计算运动方向向量

在视频段中的N个视频帧中使用单层GRU整合相同个体的位置信息，对于帧t上的个体i计算其位置信息

最终得到每个个体的空间特征

(c)外观特征提取

使用非对称卷积网络Inception-v3在每个边界框内提取多尺度的特征信息，使用感兴趣区域特征提取RoIAlign将提取的特征调整为相同大小，使用核尺寸为3×1×1的多个3D卷积层聚合时间信息，最终使用全连接层得到每个个体的外观体征

步骤S2：个体对关系立方体计算

(a)关系图节点表示

通过连接外观体征与空间特征计算场景中所有M个个体的节点特征向量F_i为：

(b)关系图边表示

计算节点即个体i、j间的边特征E_i，j为：

E_i，j＝fc(concat(F_i，F_j))，i，j∈1，2，…，M

将场景中所有个体间M×M个边特征E_i，j合并为个体对关系立方体

(c)长期特征聚合

使用单层双向GRU将视频片段k的关系立方体E^k的短期特征聚合成长期特征H^k：

H^k＝GRU(E^k，H^k-1)

其中，K为整个视频的片段数；

步骤S3：交互预测

(a)计算交互关系矩阵

将长期特征矩阵H^k使用双层全连接层在通道维度进行压缩，得到矩阵将矩阵fc(H)展平成一维向量v_H：/

对向量v_H进行softmax函数操作，并转换成原始矩阵的形式，得到交互关系矩阵R：

R＝reshape(softmax(v_H))

(b)计算个体交互类别向量

对于矩阵H^k，在Y维度逐个取其最大值以进行压缩：

将M输入全连接层，并进行softmax操作得到个体交互类别向量v_i：

(c)计算全局交互类别向量

对于矩阵H^k，在X，Y维度逐个取其最大值以进行压缩：

将m输入全连接层，并进行softmax操作得到全局交互类别向量g：

进行交互预测和识别。

3.如权利要求1所述的多对象场景无接触交互检测方法，其特征是，详细步骤如下：

步骤1：将输入视频序列分割成等长的视频片段，对每个视频片段进行较短间隔的采样，得到若干视频帧；

步骤2：对于第t帧的第i个个体，使用其2D位置向量计算运动方向向量/在视频段中的各视频帧中使用单层GRU整合相同个体的位置信息/

步骤3：使用非对称卷积网络Inception-v3在每个边界框内提取多尺度的特征信息，将提取的特征用感兴趣区域特征提取RoIAlign调整为相同大小，使用核尺寸为3×1×1的多个3D卷积层聚合时间信息，使用全连接层得到各个体的外观体征

步骤4：连接外观体征与空间特征得到场景中所有M个个体的节点特征向量F_i；

步骤5：连接各个体的节点特征向量F_i得到边特征E_i，j，并将其合并为个体对关系立方体E；

步骤6：用单层双向GRU将个体对关系立方体E聚合为长期特征矩阵H；

步骤7：将长期特征矩阵H使用双层全连接层在通道维度进行压缩，并展平成一维向量v。对其进行softmax操作，并转换成原始矩阵的形式，得到交互关系矩阵R；

步骤8：对长期特征矩阵H在Y维度逐个取其最大值进行压缩，将压缩后的矩阵输入全连接层，并进行softmax操作得到个体交互类别向量v_i；

步骤9：对长期特征矩阵H在X，Y维度逐个取其最大值进行压缩，将压缩后的矩阵输入全连接层，并进行softmax操作得到全局交互类别向量g。