[发明专利]基于红外结构光的多人图像实时提取与合成方法

摘要

本发明公开了一种基于红外结构光的多人图像实时提取与合成方法，通过红外结构光给目标图像增加了深度信息，利用深度信息检测目标的边界，能够实时将所有视频会议的参会者从各自的视频图像中提取出来，然后合成到一副图像中，从而增加参会者的信息获取，改善用户体验。本发明采用的装置简单，成本较低，算法复杂度小，可以实时处理视频图像，拥有很好的实用价值。

主权项

1.一种基于红外结构光的多人图像实时提取与合成方法，其特征在于，包括以下步骤：S1、采集目标的红外结构光图像以及RGB图像利用红外激光发射器以及带有红外滤光片的图像采集设备采集目标的红外结构光图像以及RGB图像，方法如下：当红外激光发射器开启时，发射出多条竖条直线到目标的表面，这时图像采集设备采集到目标的红外结构光图像；当红外激光发射器关闭时，图像采集设备采集到的是目标的RGB图像；在对目标进行图像采集时，将红外激光发射器按照一定的频率进行开启和关闭，使得图像采集设备依次获得目标的红外结构光图像和RGB图像，记相邻一次开启和关闭红外激光发射器得到的红外结构光图像为F(x,y)，RGB图像为P(x,y)，两幅图像的大小为M×N；S2、对红外结构光图像F(x,y)进行预处理，得到灰度图像F₂(x,y)；S3、对图像F₂(x,y)进行二值化，记二值化图像为F₃(x,y)；S4、对F₃(x,y)进行边缘检测，然后将四个边缘检测结果图像进行融合，获得边缘信息图像，记为FD(x,y)；S41根据红外竖条结构光图像的特点，设计四种新模板，如下：S42将二值化图像F₃(x,y)分别和四种新模板进行卷积，然后通过阈值进行二值化，得到四个二值化图像FD₁(x,y)、FD₂(x,y)、FD₃(x,y)以及FD₄(x,y)，具体公式如下其中表示卷积，D₁、D₂、D₃和D₃分别表示S41中设计的四种新模板，TH是二值化的阈值；S43将四个二值化图像FD₁(x,y)、FD₂(x,y)、FD₃(x,y)以及FD₄(x,y)进行融合，每个像素按照“或运算”进行操作，这样就获得比较完整的边缘信息图像，记为FD(x,y)：FD(x,y)＝FD₁(x,y)|FD₂(x,y)|FD₃(x,y)|FD₄(x,y)其中|是按位或运算符；S5、对FD(x,y)进行图像处理，去除一些孤立点，得到的新图像记为FD_c(x,y)；S6、FD_c(x,y)的非零点就是目标的外边界，有些边界存在断裂，这时选择断裂处的前面两个点和后面两个点，一共4个点进行平均，得到的结果对该处进行插值，这样得到一个闭合的外边界图像FD_d(x,y)；S7、根据外边界图像FD_d(x,y)对RGB图像P(x,y)进行目标分割，提取出目标部分的图像；S8、采用S1至S7中的方法，分别对不同地点的参会者进行图像提取，然后把提取出的图像放入提前设置好的一张大图上，这样就得到了一张包括所有参会者的合成图像。