[发明专利]基于FPGA的实时祼眼3D播放系统

权利要求书

1.一种基于FPGA的实时祼眼3D播放系统，其特征在于，包括视频输入模块、DDR存储控制模块、DDR存储器、数据拆分模块、目标图像生成模块、多视点图像融合模块和上屏显示模块，其中：

视频输入模块交替接收参考图像数据和对应的深度图像，根据DDR存储器每次写入或读取数据的数据包大小分别对参考图像数据和深度图像数据进行组合，将组合后的数据交替发送给DDR存储控制模块；组合方式以公式表示为：

a₁(3x+b₁)＝z

a₂(y+b₂)＝z

其中，x表示参考图像数据中每个像素的三个RGB分量中每个分量数据的位数，y表示深度图像数据中每个像素数据的位数，z表示DDR存储器每次写入或读取的数据包大小；a₁表示彩色分量数据的组合数量，a₁为正整数，b₁表示参考图像数据组合时高位补零位的个数，b₁为非负整数；a₂表示深度数据的组合数量，a₂为正整数，b₂表示深度图像数据组合时高位补零位的个数，b₂为非负整数；

DDR存储控制模块接收视频输入模块输出的参考图像数据和深度图像数据，存储至DDR存储器，然后按照一行参考图像数据、一行深度图像数据间隔输出至数据拆分模块；

数据拆分模块根据参考图像数据和深度图像数据在视频输入模块中的组合规则对接收到的参考图像数据和深度图像数据进行拆分，删除高位补零位，将拆分后得到的数据发送给目标图像生成模块；

目标图像生成模块将接收的参考图像及其对应的深度图像按照预设的N个视点参数通过DIBR算法合成N个目标图像，将参考图像和各个目标图像分别构成立体图像对，将N个立体图像对发送给多视点图像融合模块；

多视点图像融合模块将N个立体图像对进行子像素抽取，融合得到N个立体图像对的合成图像，发送给上屏显示模块；

上屏显示模块对合成图像进行上屏显示。

2.根据权利要求1所述的实时祼眼3D播放系统，其特征在于，所述视频输入模块中，深度图像数据的输入端口与参考图像数据的三个RGB分量输入端口中的其中一个共用一个物理端口。

3.根据权利要求1所述的实时祼眼3D播放系统，其特征在于，所述视频输入模块包括启动控制模块、视频读写管理模块、参考图像缓存模块、深度图像缓存模块，其中：

启动控制模块，监测DDR存储器的初始化完成信号，当初始化完成信号为有效时，根据场同步信号确定起始帧，然后向视频读写管理模块发送启动信号；

视频读写管理模块，接收启动控制模块的启动信号，交替接收参考图像数据和对应的深度图像，根据DDR存储器每次写入或读取数据的数据包大小，按照各自的组合规则，控制存储使能信号，将参考图像数据和深度图像数据分别输出至参考图像缓存模块和深度图像缓存模块；

参考图像缓存模块，缓存组合后的参考图像数据，输出给DDR存储控制模块；

深度图像缓存模块，缓存组合后的深度图像数据，输出给DDR存储控制模块；

参考图像缓存模块和深度图像缓存模块在输出数据时是交替输出的。

4.根据权利要求1所述的实时祼眼3D播放系统，其特征在于，所述DDR存储控制模块包括地址产生模块、读写信号产生模块、DDR控制器控制信号产生模块和DDR控制器，具体工作流程如下：

当接收到第一帧图像，即第一帧参考图像数据时，地址产生模块按照DDR存储器中预先划出的参考图像数据的第一段地址空间逐行输出写起始地址至DDR控制器控制信号产生模块；读写信号产生模块接收第一帧参考图像数据并作为写入数据输出至DDR控制器控制信号产生模块，同时输出写控制信号至DDR控制器控制信号产生模块；DDR控制器控制信号产生模块接收参考图像数据第一段地址空间的写起始地址，产生对应的写地址，连同接收到的写控制信号和第一帧参考图像数据发送给DDR控制器；DDR控制器在写控制信号的控制下，根据写地址将第一帧参考图像数据存入DDR存储器中；

当接收到第二帧图像，即第一帧参考图像的重复图像时，不进行写入或读取操作；

当接收到第三帧图像，即第一帧参考图像对应的深度图像时，地址产生模块按照DDR存储器中预先划出的深度图像数据的第一段地址空间逐行输出写起始地址至DDR控制器控制信号产生模块；读写信号产生模块接收第一帧深度图像数据并作为写入数据输出至DDR控制器控制信号产生模块，同时输出写控制信号至DDR控制器控制信号产生模块；DDR控制器控制信号产生模块接收深度图像数据第一段地址空间的写起始地址，产生对应的写地址，连同接收到的写控制信号和第一帧深度图像数据发送给DDR控制器；DDR控制器在写控制信号的控制下，根据写地址将第一帧参考图像数据存入DDR存储器中；

当接收到第四帧图像，即第一帧深度图像的重复图像时，地址产生模块按照DDR存储器中参考图像数据的第一段地址空间和深度图像数据的第一段地址空间按行交替输出参考图像数据和深度图像数据的读起始地址至DDR控制器控制信号产生模块；读写信号产生模块产生参考图像数据和深度图像数据的读控制信号输出至DDR控制器控制信号产生模块；DDR控制器控制信号产生模块接收参考图像数据的第一段地址空间和深度图像数据的第一段地址空间的读起始地址，产生对应的读地址，连同接收到的读控制信号发送给DDR控制器；DDR控制器在读控制信号的控制下，根据读地址将第一帧参考图像数据和第一帧深度图像数据从DDR存储器中读取出来，输出给数据拆分模块；该读取过程将一直持续到第一帧参考图像数据和第一帧深度图像数据全部读取完毕；

当接收到第五帧图像，即第二帧参考图像时，地址产生模块按照DDR存储器中预先划出的参考图像数据的第二段地址空间逐行输出写起始地址至DDR控制器控制信号产生模块；读写信号产生模块接收第二帧参考图像数据并作为写入数据输出至DDR控制器控制信号产生模块，同时输出写控制信号至DDR控制器控制信号产生模块；DDR控制器控制信号产生模块接收参考图像数据第二段地址空间的写起始地址，产生对应的写地址，连同接收到的写控制信号和第二帧参考图像数据发送给DDR控制器；DDR控制器在写控制信号的控制下，根据写地址将第一帧参考图像数据存入DDR存储器中；

当接收到第六帧图像，即第二帧参考图像的重复图像时，不进行写入或读取操作；

当接收到第七帧图像，即第二帧参考图像对应的深度图像时，地址产生模块按照DDR存储器中预先划出的深度图像数据的第二段地址空间逐行输出写起始地址至DDR控制器控制信号产生模块；读写信号产生模块接收第二帧深度图像数据并作为写入数据输出至DDR控制器控制信号产生模块，同时输出写控制信号至DDR控制器控制信号产生模块；DDR控制器控制信号产生模块接收深度图像数据第二段地址空间的写起始地址，产生对应的写地址，连同接收到的写控制信号和第二帧深度图像数据发送给DDR控制器；DDR控制器在写控制信号的控制下，根据写地址将第二帧参考图像数据存入DDR存储器中；

当接收到第八帧图像，即第二帧深度图像的重复图像时，地址产生模块按照DDR存储器中参考图像数据的第二段地址空间和深度图像数据的第二段地址空间按行交替输出参考图像数据和深度图像数据的读起始地址至DDR控制器控制信号产生模块；读写信号产生模块产生参考图像数据和深度图像数据的读控制信号输出至DDR控制器控制信号产生模块；DDR控制器控制信号产生模块接收参考图像数据的第二段地址空间和深度图像数据的第二段地址空间的读起始地址，产生对应的读地址，连同接收到的读控制信号发送给DDR控制器；DDR控制器在读控制信号的控制下，根据读地址将第二帧参考图像数据和第二帧深度图像数据从DDR存储器中读取出来，输出给数据拆分模块；该读取过程将一直持续到第二帧参考图像数据和第二帧深度图像数据全部读取完毕；

后续的各图像帧按照第一帧至第八帧的处理方式进行循环，直到图像输入结束。