[发明专利]一种双目视觉自由立体显示系统

摘要

本发明公开了一种双目视觉自由立体显示系统，包括双目相机、接口转换电路、FPGA加速电路、自由立体显示器，其中双目相机对现实场景进行采集，将采集到的视频通过HDMI接口传输到接口转换电路，接口转换电路将接收到的视频通过LVDS接口传输到FPGA加速电路，FPGA加速电路接收视频，逐帧进行处理，依次进行立体匹配、多视点生成、立体图像合成，将最终合成的立体图像输出到自由立体显示器，观看者站在立体显示器前相应位置观看，就能感知到立体感。该自由立体显示系统利用FPGA支持并行和流水处理的特性实现实时的自由立体显示。实验结果表明，本发明显示1920×1080分辨率的立体视频的帧速约为每秒30帧。

主权项

一种双目视觉自由立体显示系统，包括：双目相机、接口转换电路、FPGA加速电路以及自由立体显示器，其中：所述双目相机用于对自然场景进行拍摄，将得到的视频数据通过其内置的HDMI接口传输到所述接口转换电路，每帧数据由双目相机内部两摄相机拍摄得到的数据组成，即拍摄得到的左右两幅图像数据；所述接口转换电路通过其内置的HDMI接口接收所述双目相机传输过来的信号，解析得到其中的视频数据，接着按照LVDS传输协议格式将视频数据通过LVDS接口输出到所述FPGA加速电路；所述FPGA加速电路用于接收所述接口转换电路传输过来的视频，逐帧进行处理，所述FPGA处理器依次进行立体匹配、多视点生成及立体图像合成，将最终合成的立体图像输出到所述自由立体显示器进行显示；所述自由立体显示器用于采用基于柱镜光栅的自由立体显示技术进行自由立体显示；其中，所述FPGA处理器执行的立体匹配具体包括如下操作：对双目相机采集的左右两幅图像进行中心变换，进行中心变换时选取窗口的大小为11，以当前计算的像素点为窗口的中心位置，将窗口中其他像素依次与中心像素进行比较，若小于中心像素，则用二进制‘1’表示，否则用二进制‘0’表示，这样对于左右图像中每个像素点就得到一个长度为120的二进制位串；计算每个像素的海明距离，由所得的海明距离计算视差，对于右图像，在计算右图像中像素的海明距离时，将该像素得到的二进制位串依次与从左图像中同一行同一位置处按水平向右搜素得到的像素对应的二进制位串进行异或操作，直到搜素到第64个像素，这样就得到64个二进制位串，统计每个二进制位串中‘1’的个数，对应的个数即为海明距离，接着从64个海明距离中选取海明距离最小第i个，则右图像中该像素点对应的视差值为i‑1，同理对于左图像中每个像素点计算海明距离时，异或操作完成后在右图中同一行同一位置处按水平向左进行搜素，其中1<＝i<＝64；进行左右一致性检测，设右图像任一行中水平坐标为x的像素点的视差值为dR，在左图像同行中水平坐标为x+dR的像素点的视差值为dL，若两视差差值的绝对值大于事先设定的阈值，则认为该像素点的视差计算不准确，对该像素点进行标记；进行插值处理，逐行遍历右图像，如果某个像素被标记，则需修改该像素点的视差值，以该像素点为一大小为7的窗口的中心像素，统计该窗口内其他未被标记像素的视差出现的次数，将出现次数最多的视差作为该像素点的视差。