[发明专利]基于场景流的客流量的计数方法、系统及设备、存储介质

权利要求书

1.一种基于场景流的客流量的计数方法，其特征在于，所述计数方法包括：

获取检测通道的前一帧的双目立体图像和当前帧的双目立体图像；

通过SFNet网络模型对所述前一帧的双目立体图像和所述当前帧的双目立体图像进行计算，得到光流图、前一帧的视差图、当前帧的视差图和场景流图，其中，所述SFNet网络模型包括CNN卷积神经网络；

根据所述场景流图、所述前一帧的视差图和所述当前帧的视差图检测出前一帧的运动目标和当前帧的运动目标；

根据所述前一帧的运动目标和所述当前帧的运动目标计算目标关联代价，进行目标跟踪；

根据所述目标跟踪的结果对客流量进行计数；

所述通过SFNet网络模型对所述前一帧的双目立体图像和所述当前帧的双目立体图像进行计算，得到光流图、前一帧的视差图、当前帧的视差图和场景流图的步骤，包括：

对所述前一帧的双目立体图像和所述当前帧的双目立体图像进行计算，得到光流图、前一帧的视差图和当前帧的视差图；

通过所述SFNet网络模型根据所述光流图对所述当前帧的视差图进行warp操作，以将所述当前帧的视差图中的每个像素点根据各像素位置上的光流值偏移至所述前一帧的视差图中的对应像素位置上，得到前一帧的warp后的视差图；

通过所述CNN卷积神经网络将所述前一帧的warp后的视差图与所述前一帧的视差图相减得到前一帧的视差变化图，并根据所述前一帧的视差变化图和所述光流图得到所述场景流图。

2.根据权利要求1所述的计数方法，其特征在于，所述检测通道的顶部设置有第一图像获取装置和第二图像获取装置，所述前一帧的双目立体图像包括前一帧的第一图像和前一帧的第二图像，所述当前帧的双目立体图像包括当前帧的第一图像和当前帧的第二图像；

所述获取检测通道的前一帧的双目立体图像和当前帧的双目立体图像的步骤，包括：

通过所述第一图像获取装置获取所述检测通道的所述前一帧的第一图像和所述当前帧的第一图像，通过所述第二图像获取装置获取所述检测通道的所述前一帧的第二图像和所述当前帧的第二图像。

3.根据权利要求2所述的计数方法，其特征在于，所述第一图像获取装置和所述第二图像获取装置为双目摄像机的两个镜头；

所述双目摄像机的镜头的光轴与所述检测通道的地面的夹角为直角或锐角；和/或，

所述双目摄像机距离所述检测通道的地面的高度为3至5米；和/或，

所述双目摄像机的检测高度范围为高于所述检测通道的地面0.8至2.5米。

4.根据权利要求2所述的计数方法，其特征在于，所述SFNet网络模型还包括DispNet网络和FlowNet网络；

所述对所述前一帧的双目立体图像和所述当前帧的双目立体图像进行计算，得到光流图、前一帧的视差图和当前帧的视差图的步骤，包括：

通过所述FlowNet网络根据所述前一帧的第一图像和所述当前帧的第一图像得到所述光流图；

通过所述DispNet网络根据所述前一帧的第一图像和所述前一帧的第二图像得到所述前一帧的视差图，根据所述当前帧的第一图像和所述当前帧的第二图像得到所述当前帧的视差图。

5.根据权利要求4所述的计数方法，其特征在于，所述SFNet网络模型通过先使用FlyingThings3D数据集中的视差图数据和光流图数据分别对DispNet网络和FlowNet网络进行预训练，然后使用训练好的DispNet网络和FlowNet网络构造形成的。