[发明专利]一种多路摄像头实时入侵检测与跟踪方法

权利要求书

1.一种用于多路摄像头的实时入侵检测方法，该方法包括以下步骤：

S1：通过多路图像采集设备，获取若干条视频流V_n；

S2：获取每一条视频流V_i的首帧图像，由用户依次框选指定禁入区域；

S3：将多路视频流图像帧拼接成一张大的图像帧；

S4：使用YOLOv4检测多路图像帧中的人员；

S5：判定禁入区域内的人员是否为非法入侵；

S6：对非法入侵行为进行报警，并对该人员进行跨摄像头持续跟踪。

2.根据权利要求1中步骤S3所述的图像帧拼接方法，其具体步骤如下：

S31：将若干视频帧的大小统一为最小视频帧的大小；

S32：开辟一张画布用于放置视频流，其宽高分别为：

其中，n表示视频流数目，w_min与h_min分别表示多路视频流中最小视频帧的宽高；

S33：将画布划分为m宫格的形式，其中

S34：将多路视频流的每一帧依次放入m宫格中，作为子画面；

S35：为同一各摄像机之间的刷新率，取拥有最高刷新率摄像机的帧数作为画布的刷新率，每个子画面在被各自的视频传输流刷新之前，图像在画布上保留。

3.根据权利要求1中步骤S5所述的禁入区域内的人员判定方法，其具体步骤如下：

S51：使用如图所示的神经网络结构，将输入的人员照片表观特征提取为128维特征向量；

S52：神经网络的训练使用三元损失函数进行训练，其具体公式如下：

对于每一个人员样本图像p，有

p^d表示检测到的输入图像，p^gt表示与输入图像相同人员的图像，p^neg表示与输入图像中人员不同的图像；

S53：对可以合法进入指定区域的人员，事先将其全身照片提取为128维特征，再录入数据库；

S54：对进入指定区域的人员，使用S51中的神经网络，提取其128维特征向量，并使用余弦距离，使其与数据库中所有在库人员的外观特征向量矩阵求取相似度sim：

若sim大于阈值T1，则判定为非法入侵人员。

4.根据权利要求1中步骤S6所述的跨摄像头持续跟踪方式，具体步骤如下：

S61：对步骤S54中判定的非法入侵人员，建立跟踪器tⁱ，将其检测框位置放入其中；

S62：使用S51中的神经网络，提取其128维特征向量作为表观特征，并放入跟踪器tⁱ中；

S63：使用递归卡尔曼滤波预测下一帧中该非法入侵人员位置L；

S64：进入下一帧，使用S4与S5步骤的方式，检测区域内所有非法入侵人员D；

S65：使用综合距离度量，匹配连续两帧的非法入侵人员，实现跟踪，匹配方式如下：

其中表示第i个预测框，表示第j个检测框；若其综合距离度量dist小于阈值T2，则判定其跟踪成功，新的跟踪框体位置及其表观特征存入对应跟踪器tⁱ，并对该人员进行持续跟踪；

S66：当发生遮挡，或该人员离开某一摄像头子画面范围时，则距离度量判定方式失效，转而采用表观特征进行匹配；对检测到新出现在画面中的人员D，将其与所有跟踪器tⁱ中最后3秒采集到的表观特征使用S54中的相似度公式sim进行比对，求取其最小距离min(sim)，若最小距离小于阈值T3，则判定关联成功。