[发明专利]一种基于RGB-D的深度网络摄像装置及方法

说明书

本公开涉及一种基于RGB‑D的深度网络摄像装置及方法，所述装置通过散斑编码投射器向目标物体或场景投射散斑图案，利用图像传感器采集被目标物体或场景反射的散斑图案，获得散斑编码图像，形成输入视频数据流，并将所述输入视频数据流输出给深度计算模块；所述深度计算模块结合参考散斑图像对输入视频数据进行深度计算、深度‑灰度映射、视频缩放和数据格式转换，获得初始视频数据流；对初始视频数据流的每一帧，所述装置通过将该帧插入到携带RGB信息的数据流中对应帧的后面，然后将得到的数据流进行压缩并将压缩后的数据流传输到终端进行立体成像。本公开装置或方法能够快速、准确地获取目标物体深度信息，并能方便、实时的进行立体成像。

技术领域

本公开涉及图像处理、机器视觉和视频监控技术领域，具体涉及一种基于RGB-D的深度网络摄像方法及装置。

背景技术

现有的深度获取装置在实时性、操作应用简便性方面存在限制。如双目立体摄像头技术成熟，但未能实时生成并输出深度图序列；2013年美国苹果公司新申请一项发明专利“Depth Perception Device and System，深度感知设备与系统”，利用激光发射图形、摄像头获取散斑图后计算出深度距离，该技术有可能作为其未来创新产品的虚拟交互和输入设备进行应用。2014年1月英特尔公司推出嵌入式3D深度摄像头，认为“虚拟世界正无限接近于现实世界；人机交互模式将会变得更加自然(natural)、直观(intuitive)和身临其境(immersive)”。开发一种能快速、准确地获取目标物体深度信息的设备装置已成为国内外相关行业研究的热点和难点。

发明内容

鉴于此，本公开提供了一种基于RGB-D的深度网络摄像装置和方法，以实时、方便地进行立体成像。本公开的技术方案如下。

一方面，本公开提供了一种基于RGB-D的深度网络摄像装置，所述装置包括散斑编码投射器、图像传感器、深度计算模块、网络传输模块、终端；

所述散斑编码投射器，用于向目标物体或场景投射散斑图案；

所述图像传感器，用于采集被目标物体或场景反射的散斑图案，获得散斑编码图像，形成输入视频数据流，并将所述输入视频数据流输出给深度计算模块；

所述深度计算模块，用于结合参考散斑图像对输入视频数据进行深度计算、深度-灰度映射、视频缩放和数据格式转换，获得初始视频数据流；

所述网络传输模块，用于对初始视频数据流的每一帧，将该帧插入到携带RGB信息的数据流中对应帧的后面，然后将得到的数据流进行压缩并将压缩后的数据流传输到终端进行立体成像；

所述深度-灰度映射为根据深度-灰度映射关系将计算出的深度信息映射为灰度值，利用深度图表示投射空间和目标物体的距离信息；

所述视频缩放为对深度图按比例进行缩放；

所述格式转换子为将缩放后的深度图进行数据格式转换，以适合在DTN网络中传输。

在所述装置中，其中：所述图像传感器通过MIPI或并口将输入视频数据流输出给深度计算模块。

在所述装置中，其中：所述网络传输模块以RJ45或者WIFI为介质进行传输。

在所述装置中，其中：所述网络传输模块中的传输通过下述方法实现：

每间隔K个数据包，生成1个编码包，通过RJ45或WIFI传送到智能终端；

其中K为设定值。

在所述装置中，其中：所述网络传输模块在进行立体成像前，将接收的数据流进行解压、格式转换、深度-灰度逆映射获得深度信息和RGB信息。

另一方面，本公开提供了一种基于RGB-D的深度网络摄像方法，所述方法包括下述步骤：