[发明专利]基于Vibe和BP神经网络算法的多焦距镜头联动成像摄像机系统

摘要

本发明公开一种基于改进的Vibe和BP神经网络的多目标跟踪算法的多焦距镜头超高分辨率联动成像摄像机系统，该系统主要由视频采集装置、视频合成处理输出系统、视频管理软件构成以及两路视频输出接口，视频采集装置包括一个用于采集低分辨率的场景概貌的概貌采集单元，十个用于共同采集细节部分超高分辨率画面的细节采集单元，获取的视频流经视频合成处理输出至视频管理软件，用于实现场景概貌画面和超高分辨率画面协同联动。本发明具有以下有益效果：使用单镜头采集的场景概貌与多个不同焦距镜头获取的超高分辨率拼接画面联动，实现对场景的无死角全覆盖监控。 1

主权项

1.一种多焦距镜头超高分辨率联动成像摄像机系统，该多焦距镜头超高分辨率联动成像摄像机系统主要包括一个基于多目标智能跟踪的视频采集装置、视频合成处理输出系统、视频管理软件以及两路视频输出接口，其特征在于:

所述的视频采集装置包括一个概貌采集单元，用于采集低分辨率的场景概貌；十个细节采集单元，用于共同采集细节部分超高分辨率画面；以及两块辅助功能电路板，一块用于提供供电电压转换并为前端摄像机和交换机提供电源，同时提供千兆网络交换机功能并连接前端摄像机，另一块则进行基于改进的Vibe和BP神经网络的多目标跟踪算法的多目标智能跟踪系统的编写与输入，控制前端摄像机的多目标智能跟踪；

所述的视频合成处理输出系统，包括一个基于FPGA的多路视频合成系统，用于接入、转发前端视频采集装置获取的视频流，同时将多路视频流转换为一路高清视频存储并输出；

所述的视频管理软件，用于实现场景概貌画面和超高分辨率画面协同联动预览，回放以及缩放；

所述的两路视频输出接口，一路视频为概貌视频，一路为4K高清细节视频。

2.根据权利要求1所述的多焦距镜头超高分辨率联动成像摄像机系统，其特征在于:所述的概貌采集单元采用1080P网络摄像机，编码方式使用h264标准；摄像机前端连接短焦距镜头，横向视场角大于90度；所述的十个细节采集单元均为网络摄像机，采用1200万像素CMOS感光器件，视频采集分辨率为4000×3000，编码方式使用h264标准。

3.根据权利要求2所述的多焦距镜头超高分辨率联动成像摄像机系统，其特征在于:

所述的十个细节采集单元均为网络摄像机，其中3台摄像机前端连接中焦距镜头，单台摄像机横向视场角大于30度，3台摄像机按照左中右摆放在同一个平面，共同构成横向90度的视场角，每两个摄像机的视场范围有一定重叠，摆放在中间的摄像机，视场方向与概貌采集单元一致；另外7台摄像机前端连接长焦距镜头，单台摄像机横向视场角大于13度，7台摄像机分两排放置在两个平行平面上，摄像机的视场方向在同一个平面，按照不同角度摆放，共同构成横向90度的视场角，每两个摄像机的视场范围有一定重叠；放置中焦距摄像机的平面和放置长焦距摄像机的平面，在纵向上形成一定的夹角，使中焦摄像机和长焦距摄像机在纵向视场范围上有一定重叠区域。

4.根据权利要求1所述的多焦距镜头超高分辨率联动成像摄像机系统，其特征在于:所述的视频采集装置还包括壳体与支架，所述壳体用于保护整个装置，所有摄像机和辅助功能电路板都安装在壳体内部；所述支架安装在壳体底部，通过固定螺丝，可以进行纵向角度调节。

5.根据权利要求1所述的多焦距镜头超高分辨率联动成像摄像机系统，其特征在于:所述的视频合成处理输出系统包含两个独立的千兆网口，一个基于FPGA的多路视频采集显示系统，用于接入、转发前端视频采集装置获取的视频流，将多路视频流转换为一路高清视频存储并输出；通过前端网口接入前端视频采集装置，获取多路视频流接入基于FPGA的多路视频合成系统，将多路视频流合并处理后转换为一路高清视频进行存储，同时将概貌采集单元的一路概貌视频进行存储，最后根据后端视频管理软件需求对两路视频进行输出。

6.根据权利要求1所述的多焦距镜头超高分辨率联动成像摄像机系统，其特征在于:所述的视频管理软件，用于实现场景概貌画面和超高分辨率画面协同联动预览和回放以及对视频进行缩放、调用；所述的视频管理软件主要功能包含网络视频存储设备管理功能，概貌采集单元和细节采集单元的空间配准功能，设备协同联动预览功能，设备协同联动回放功能以及日志管理功能，用户管理功能和系统配置功能。

7.根据权利要求6所述的多焦距镜头超高分辨率联动成像摄像机系统，其特征在于:

所述的网络视频存储设备管理功能，用户可通过onvif协议搜索和接入网络视频存储设备；也可以配置网络视频存储设备的网络地址、存储参数、系统配置；

所述的概貌采集单元和细节采集单元的空间配准功能，通过对场景概貌画面和细节显示画面分别采样，计算得到空间配准信息；空间配准信息用于场景概貌单元和细节单元的匹配联动；

所述的设备协同联动预览功能，使用者在场景概貌画面选择需要预览的细节，通过空间配准信息计算后，在超高分辨率画面显示窗口中，对使用者选择的细节进行联动匹配放大预览；

所述的设备协同联动回放功能，用户可通过onvif协议搜索和查询录像文件，并对查询到的录像文件进行回放；在回放过程中，使用者在场景概貌画面选择需要查看的场景细节，通过空间配准信息计算后，在超高分辨率画面显示窗口中，对使用者选择的细节进行联动匹配放大回放。

8.根据权利要求6所述的多焦距镜头超高分辨率联动成像摄像机系统，其特征在于:

所述的日志管理功能，可检索视频管理软件本地操作和告警日志；

所述的用户管理功能，可添加和删除用户账户，并配置用户权限；

所述的系统配置功能，可进行语言、NTP服务功能、CPU性能配置。

9.根据权利要求7所述的多焦距镜头超高分辨率联动成像摄像机系统，其特征在于:所述的概貌采集单元和所述的细节采集单元通过以下步骤实现空间配准：

(1)建立单镜头单元采集画面坐标系，采用球型模型，用于映射实际空间坐标到感光器件的平面坐标的对应关系；

(2)分别对场景概貌画面和细节采集单元的视频画面采样，计算采样点的映射关系；计算方法是，在场景概貌画面上采样6个点的像素坐标，并转换为空间坐标，得到6个向量v1,v2…v6；在细节采集单元的视频画面上采样6个点的像素坐标，并转换为空间坐标，得到v1’,v2’…v6’，应用下面计算方法，由这6组空间坐标计算得到旋转矩阵MatH2D：

MatD＝[v1,v2,v3,v4,v5,v6],

MatH＝[v1',v2',v3',v4',v5',v6'],

MatH2D＝MatD×PINV(MatH)，其中PINV(Matrix)为矩阵Matrix的广义逆；

(3)匹配联动预览或回放时，首先通过场景概貌画面上的坐标(x,y)计算其空间坐标v，并由v×MatH2D＝v’得到该点在超高分辨率画面坐标系下的空间坐标v’，最后由v’计算单个U10X的像素坐标(x’,y’)。

10.根据权利要求1‑8任一项所述的多焦距镜头超高分辨率联动成像摄像机系统，其特征在于：所述的多目标智能跟踪系统主要是一种基于改进的Vibe和BP神经网络的多运动目标跟踪算法，算法实现主要包括如下步骤：

(1)输入视频图像，利用改进的Vibe算法提取运动前景目标；多运动目标检测主要分为两步：第一步建立Vibe背景模型；第二步检测运动前景目标和消除鬼影；

(2)将二值化的图像进行多目标分割；

(3)最后基于BP神经网络的多运动目标跟踪；

其中，步骤(1),步骤(2)是基于所有待处理视频图像所必须的，是进行多目标跟踪前的预处理。