[发明专利]基于图卷积网络的人车关联方法及装置

权利要求书

1.一种基于图卷积网络的人车关联方法，其特征在于，所述方法包括：

获取车辆与车主的样本对数据，根据所述样本对数据制作用于人车检测和人车关联数据集；

基于所述人车检测数据集训练人车目标检测模型，基于所述人车关联数据集训练人车关联模型；

通过人车目标检测模型获取监控图中所有人和车辆的区域，并将所述监控图中的人和车辆特征输入人车关联模型；

输出所述图像中人和车辆的关系信息。

2.根据权利要求1所述的方法，其特征在于，所述获取车辆与车主的样本对数据包括：采集包含车主和车辆的图像，基于采集的图像获取车主上下车时间段的图像作为样本对数据。

3.根据权利要求2所述的方法，其特征在于，根据所述样本对数据制作用于人车检测和人车关联数据集包括：

标记监控图像中所有的人车目标矩形框，记录所述人车矩形框中图像车辆和车主的匹配信息，形成人车检测和人车关联数数据集。

4.根据权利要求3所述的方法，其特征在于，基于所述人车检测数据集训练的人车目标检测模型包括：

采用基于深度学习目标检测方法，通过目标检测模型检测人与车辆目标；

并通过多个卷积层提取目标图像特征，并以此为特征生成目标区域坐标；

利用人车检测数据集，采用梯度下降算法训练得到人车目标检测模型中的参数。

5.根据权利要求4所述的方法，其特征在于，基于所述人车关联数据集训练人车关联模型具体包括：

提取人车区域图像中的人车目标整体特征，并将所述人车目标整体特征作为节点创建二分图；

通过图卷积网络在所述二分图上进行人和车辆的特征交互更新，得到更新后的节点特征向量；

通过多层感知器网络对更新后的节点特征向量计算生成人和车辆的关联关系。

6.根据权利要求5所述的方法，其特征在于，通过图卷积网络在所述二分图上进行人和车辆的特征交互更新，得到更新后的节点特征向量包括：

分别获取二分图上的车辆以及人节点特征集合；

根据车辆以及人节点特征计算二分图中边连接权值，得到二分图的权值矩阵；

基于二个图卷积层进行人车特征交互，得到更新后的人车节点特征向量。

7.一种基于图卷积网络的人车关联装置，其特征在于：

所述装置包括：

获取模块，用于获取车辆与车主的样本对数据，根据所述样本对数据制作用于人车检测和人车关联数据集；

训练模块，基于训练所述人车检测数据集训练人车目标检测模型，基于所述人车关联数据集训练人车关联模型；

推理模块，通过人车目标检测模型获取监控图中所有人和车辆的区域，并将所述监控图中的人和车辆特征输入人车关联模型；输出所述图像中人和车辆的关系信息。

8.根据权利要求7所述的装置，其特征在于，

所述获取模块还用于采集包含车主和车辆的图像，基于采集的图像获取车主上下车时间段的图像作为样本对数据。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括制作模块，

所述制作模块用于根据所述样本对数据制作用于人车检测和人车关联数据集，具体包括标记监控图像中所有的人车目标矩形位置，记录所述人车目标的车辆和车主的匹配信息，形成人车检测和人车关联数数据集。

10.根据权利要求9所述的装置，其特征在于，所述训练模块用于：

采用基于深度学习目标检测方法，检测人与车辆目标；

并通过多个卷积层提取目标图像特征，并以此为特征生成目标区域坐标；

利用人车检测数据集，采用梯度下降算法训练得到人车目标检测模型中的参数。