[发明专利]一种基于深度学习的全天候视频监控方法

权利要求书

1.一种基于深度学习的全天候视频监控方法，其特征在于，该方法包括以下步骤：

步骤1，实时采集视频流，基于得到的视频流通过对预先设定的标定线区域内覆盖的像素进行采样获得多幅原始采样图样本，以及速度采样图样本；

步骤2，对于得到的速度采样图样本进行时空矫正；

步骤3，基于原始采样图和速度采样图，离线训练得到深度学习模型，所述深度学习模型包括分类模型和统计模型；

步骤4，利用所述步骤3得到的深度学习模型对于实时视频流进行人群状态分析。

2.根据权利要求1所述的方法，其特征在于，所述步骤1进一步包括以下步骤：

首先，对于所述视频流中的每帧图像，在行人进出门的位置处，设置一个宽度固定为n像素、长度覆盖整个门的标定线l_n，作为人进出的虚拟门界限；

然后，提取所述视频流中每隔f帧的图像F中所述标定线覆盖的像素，每经过固定时间间隔t，采样得到的所有像素组成原始采样图像I；

在采样标定线覆盖的像素时，使用光流法计算每个像素的速度与运动方向，每经过固定时间间隔t，采样得到的所有像素的运动方向组成速度采样图。

3.根据权利要求1所述的方法，其特征在于，所述速度采样图中，使用RBG不同的通道表示行人不同的运动方向，其中，R通道和G通道表示两个不同运动方向的像素点，B通道表示没有运动的像素点。

4.根据权利要求1所述的方法，其特征在于，所述步骤2中，利用图像平面上不同像素的贡献对于所述速度采样图样本进行空间矫正，利用不同像素点的速度值对于所述速度采样图进行时间矫正。

5.根据权利要求4所述的方法，其特征在于，经过空间和时间矫正后的速度采样图I’_s表示为：

I_s＝I_s*S_C(x，y)*S(F_t(l_n))，

其中，I_s表示空间和时间矫正前的速度采样图，S_C(x，y)表示图像平面上任意一个像素I(x，y)的几何贡献因子，S(F_t(l_n))表示时间矫正系数：S(F_t(l_n))＝Speed(F_t(l_n))/N_s，N_s为标准速度值，Speed(F_t(l_n))表示时间t时图像帧F中标定线l_n覆盖的像素点的速度大小。

6.根据权利要求1所述的方法，其特征在于，所述分类模型可将速度采样图分为4类：速度采样图中只有进入的人、速度采样图中只有出的人、速度采样图中有进有出的人、速度采样图中无人进出。

7.根据权利要求1所述的方法，其特征在于，所述统计模型进一步包括统计人群数量模型和统计进出人群模型，其中，所述统计人群数量模型用于统计原始采样图中人群的总数量；所述统计进出人群模型用于统计有进有出类别的速度采样图中进入人群所占的比例。

8.根据权利要求1所述的方法，其特征在于，所述统计模型使用卷积神经网络训练得到，其中，用于训练统计人群数量模型的卷积神经网络包括输入层、5个卷积层、2个全连接层以及输出层；用于训练统计进出人群模型的卷积神经网络包括输入层、3个卷积层、1个全连接层以及输出层。

9.根据权利要求1所述的方法，其特征在于，所述步骤4进一步包括以下步骤：

步骤41，与所述步骤1类似，基于所述实时视频流对预先设定的标定线区域内覆盖的像素进行采样获取多幅原始采样图以及速度采样图；

步骤42，与所述步骤2类似，对于所述步骤41得到的速度采样图分别进行时空矫正；

步骤43，利用所述深度学习模型中的分类模型对于所述速度采样图分别进行分类，判断得到所述速度采样图所属的类别；

步骤44，根据所述速度采样图所属的类别，使用所述深度学习模型中的统计模型分别分析原始采样图中的人群信息；

步骤45，对于多幅原始采样图对应的人群信息进行整合，获得所述实时视频流对应时段内的精确人群信息。

10.根据权利要求9所述的方法，其特征在于，所述步骤44中，对于无人进出的类别，人群数量统计为零；对于-只有出去和只有进入的类别，使用所述统计模型中的统计人群数量模型统计人群数量；对于有进有出的类别，使用所述统计模型中的统计进出人群模型统计得到进入人数所占的比例，并结合所述统计人群数量模型得到的人群数量统计结果，最终分别获得进入和出去的人数。