[发明专利]视频中目标的特征确定方法、装置和计算机可读存储介质

权利要求书

1.一种视频中目标的特征确定方法，包括：

根据从视频的各帧图像中提取的图像特征，确定所述各帧图像中待处理目标的目标特征；

确定各目标特征之间的差异特征；

根据所述差异特征融合所述各目标特征，确定所述待处理目标的综合特征。

2.根据权利要求1所述特征确定方法，其中，所述确定所述各帧图像中待处理目标的目标特征包括：

提取所述各帧图像的背景分割图、所述待处理目标的目标分割图和所述待处理目标的关键点的热力图作为所述图像特征；

根据所述目标分割图、所述背景分割图和所述热力图，确定所述各帧图像的所述目标特征。

3.根据权利要求2所述特征确定方法，其中，所述确定所述待处理目标的综合特征包括：

根据所述差异特征对所述各目标特征进行补偿；

将补偿后的各目标特征融合为所述目标的综合目标特征。

4.根据权利要求3所述特征确定方法，其中，确定各目标特征之间的差异特征包括：

所述目标特征包括所述待处理目标的姿态参数和投影参数，所述投影参数包括所述待处理目标相对于摄像机的旋转参数、所述待处理目标投影到图像平面的平移参数和缩放参数；

根据所述各帧图像的所述热力图、所述姿态参数和所述投影参数，利用第一机器学习模型，确定所述差异特征。

5.根据权利要求4所述特征确定方法，其中，

所述第一机器学习模型包括拼接模块、第一卷积模块和第一连接模块，所述拼接模块用于将所述热力图、所述姿态参数和所述投影参数拼接为第一输入信息，所述第一卷积模块包括多个卷积层用于根据所述第一输入信息确定第一卷积信息，所述第一连接模块包括多个全连接层用于根据所述第一卷积信息确定所述差异特征。

6.根据权利要求5所述特征确定方法，其中，

所述第一机器学习模型根据损失函数训练，所述损失函数根据特征误差参数和关键点距离参数构建，所述特征误差参数根据补偿后的所述各目标特征与各目标特征真实值之间的误差确定，所述关键点距离参数根据相邻两帧图像中各关键点的位置变化确定。

7.根据权利要求3所述特征确定方法，其中，

所述目标特征包括所述待处理目标的形状参数、姿态参数和投影参数，所述补偿后的各目标特征包括补偿后的姿态参数和投影参数；

所述确定所述待处理目标的综合特征包括：

以所述各帧图像中的所述形状参数、所述偿后的姿态参数和投影参数作为第二输入信息，利用第二机器学习模型将所述各帧图像中的所述形状参数融合为一个统一形状参数作为所述综合特征。

8.根据权利要求7所述特征确定方法，其中，所述确定所述待处理目标的综合特征包括：

利用所述第二机器学习模型进行K次融合处理，将所述各帧图像中所述目标的特征融合为一个所述综合特征，K为大于1的正整数，第k+1次融合处理的融合结果的个数小于第k次融合处理得到的融合结果的个数，k为小于等于K的正整数。

9.根据权利要求8所述特征确定方法，其中，

所述第二机器学习模型包括第二卷积模块、第三卷积模块、转置模块、第二连接模块和融合模块，所述第二卷积模块包括多个卷积层用于根据所述第二输入信息确定第二卷积信息，所述转置模块将所述第二卷积信息转置为所述第二连接模块需要的格式，所述第二连接模块包括多个全连接层用于根据所述第二卷积信息确定特征信息，所述第三卷积模块用于根据所述第二输入信息确定第三卷积信息，所述第三卷积信息和所述特征信息维度相同，所述融合模块用于将所述第三卷积信息和所述特征信息融合为所述融合信息。

10.根据权利要求2-9任一项所述特征确定方法，其中，

所述目标分割图和所述背景分割图根据所述各帧图像的编码信息利用第一解码器模型确定，所述编码信息利用第一编码器模型确定；

所述热力图根据所述编码信息利用第二解码器模型确定；

所述目标特征通过第二编码器确定。