[发明专利]一种具有视频语义分析功能的高清网络摄像机

说明书

技术领域

本发明涉及图像识别技术领域，尤其涉及一种具有视频语义功能的高清网络摄像机。 

背景技术

随着安防视频监控行业的发展，网络化、高清化和智能化已成为这个行业的发展趋势，随着智慧城市的推进，监控摄像头已经遍布大街小巷，产生海量的非结构化的图像数据，仅仅将视频图像记录下来只是第一步，有了相关视频图像不等于就找到了目标信息；在海量非结构化的视频图像数据中查找视频、分析视频的工作常常会耗用大量的时间和人力，能否在海量视频中更方便和更省力地查找到相关信息，如何从杂乱的非结构化数据中提取准确无误的关键信息；同时，如何高效存储和访问利用这些信息都是目前亟待解决的问题；在现有技术条件下，要实现海量视频的检索，通常采用后台手动加注和自动生成相关目标低级语义，该方式需要耗费大量的计算量和人力且系统结构复杂，而该方式只能针对部分重点区域或重点时间段视频，不能对系统内所有视频进行语义转换。 

发明内容

本发明的目的就在于克服现有技术存在缺点和不足，提供了一种具有视频语义分析功能的高清网络摄像机。 

本发明的目的是这样实现的： 

将相关图像目标提取算法、目标特征（类别、颜色、大小、运动方向和速度等）分析算法植入到高清网络摄像机中，在视频压缩编码的同时生成视频语义元数据，使摄像机具有目标对象语义提取功能，同时采用基于时戳（ts）的视频数据与视频语义元数据的同步生成和传输方法将视频数据与视频语义元数据同步 传输到后端平台，从而提供一种全新概念的高清网络摄像机，它输出的将不仅仅是一幅幅图像，而且同时还输出图像中被结构化语义描述的目标对象。 

具体技术方案为： 

一、具有视频语义分析功能的高清网络摄像机（简称摄像机） 

本摄像机包括图像采集单元、数字信号处理单元、网络传输单元、FLASH存储单元和DDR数据存储单元； 

图像采集单元包括镜头和图像传感器； 

数字信号处理单元包括语义分析模块和视频编码模块； 

镜头与图像传感器通过结构件实现光连接； 

数字信号处理单元分别与图像传感器、FLASH存储单元、DDR数据存储单元和网络传输单元连接。 

二、视频语义元数据生成及同步传输的方法（简称方法） 

本方法基于上述的具有视频语义功能的高清网络摄像机，包括视频语义元数据生成和同步传输； 

1）视频语义元数据生成： 

①图像采集单元采集原始视频图像通过数模转换后将采集到的原始视频图像序列传输给语义分析模块； 

②语义分析模块接收采集的连续原始视频图像序列； 

③原始视频图像序列缩放到指定处理分辨率352×288； 

④利用缩放后的图像数据初始化背景模型； 

⑤根据背景差分法（背景模型和当前帧的差）检测运动目标，并且更新背景模型； 

⑥对检测出来的运动目标进行形态学处理； 

⑦对处理过的运动目标进行跟踪； 

⑧计算运动目标的特征，特征包括类别（人、车和物）、颜色、大小、运动方向和运动速度； 

⑨提取目标特征后根据目标特征数据字典，实现目标语义数字化。 

2）同步传输： 

①图像采集单元采集原始视频图像，且记录当前图像帧的时间戳，将图像数 据和时间戳传输给视频语义模块和视频编码模块； 

②视频语义模块接收到连续的图像序列，将视频目标进行语义转换，输出其对应特征的特征值； 

③视频编码模块接收到连续的图像序列，进行编码，生成压缩后的H.264视频流； 

④通过时戳实现视频语义元数据与编码数据的对应关系，并将时戳相同的视频数据和语义数据传入同步传输模块； 

⑤同步传输模块采用标准的RTP协议进行流媒体传输，同时通过每帧最后一个RTP分包的包头扩展位封装传入的视频语义元数据，实现视频数据与视频语义元数据的同步传输。 

由此可见，本发明是通过上述流程提供了一种全新概念的高清网络摄像机，它输出的将不仅仅是一幅幅图像，而且同时还输出图像中被结构化语义描述的目标对象（比如人、车、物等目标及其特征），同时很好地解决了视频语义元数据和视频数据的同步生成和传输问题。 

本发明具有以下优点和积极效果：