[发明专利]同步多聚焦Bayer视频图像处理系统及方法

摘要

本发明公开了一种同步多聚焦Bayer视频图像处理系统及方法，系统包括多聚焦Bayer视频图像获取装置(1)和视频图像处理装置(3)，视频图像处理装置(3)工作过程如下一、多路整合处理其对多聚焦Bayer视频图像获取装置(1)的各Bayer成像装置同一时刻采集来的U个Bayer图像，其中，进行融合处理，得到一个融合的Bayer图像，处理后的Bayer图像为同一时刻k时目标场景内所有位置的目标均清晰的Bayer图像；二、对Bayer图像再经过恢复处理，得到全图均清晰的彩色图像，。本发明的系统与方法节约时间、简化系统，处理后的图像质量高。

主权项

一种同步多聚焦Bayer视频图像处理系统，其包括多聚焦Bayer视频图像获取装置(1)和视频图像处理装置(3)；其特征是：多聚焦Bayer视频图像获取装置(1)包括多个Bayer成像装置，其个数记为U，U≥2，每个Bayer成像装置包括聚焦镜头(11)、贝尔滤光器(12)和图像传感器(13)，聚焦镜头(11)为凸透镜，其焦距可调，各个Bayer成像装置的聚焦镜头(11)的焦距设置不相同,以保证在场景范围内的不同位置不同远近的目标至少在一个聚焦镜头(11)中成像是清晰的，贝尔滤光器(12)由三种颜色滤光片构成，三种颜色滤光片以Bayer模式排成阵列，即贝尔滤光器(12)是一个二维彩色滤光器阵列，它由RGB三原色滤光单元格栅组成，每个栅格只能滤过三原色的一种，并一一对应图像传感器(13)上的每个像素；图像传感器(13)为CCD，每个图像传感器(13)位于对应的聚焦镜头(11)聚焦的光路上，每个贝尔滤光器(12)位于相应的图像传感器(13)和聚焦镜头(11)之间，贝尔滤光器(12)的每个滤光单元格栅对应于图像传感器(13)上的一个像素；每个Bayer成像装置可以对目标场景进行成像，并输出Bayer格式的图像，记为，即为某一时刻k时第u个Bayer成像装置获得的目标场景的一个Bayer图像， U个Bayer成像装置可对同一目标场景在同一时刻k产生U个Bayer图像，记为，其中，U为上述的Bayer成像装置的个数；一个Bayer成像装置在多个时刻k产生多个Bayer图像，即一路Bayer视频，记为，其中，n 为成像采样的时刻的个数；多个Bayer成像装置在多个时刻k产生多个Bayer视频，即多路Bayer视频，记为，其中，，也可记为，每一个Bayer图像由个像素组成，即U路Bayer视频还可以表示为，其中,，，，H为每幅Bayer图像的像素的行数，N为每幅图像的像素的列数；视频图像处理装置(3)包括数字处理装置(31)、多路Bayer图像融合装置(32)和Bayer图像恢复装置(33)；数字处理装置(31)能进行数据处理，其包括输入接口、存贮器、处理器和输出接口；多聚焦Bayer视频图像获取装置(1)与视频图像处理装置(3)之间通过通讯系统连接；多路Bayer图像融合装置(32)置于视频图像处理装置(3)的数字处理装置(31)中，其用于对多聚焦Bayer视频图像获取装置(1)的各Bayer成像装置同一时刻采集来的U个Bayer图像，其中，或进行融合处理，得到一个融合的Bayer图像，处理后的Bayer图像包含了U个Bayer图像中所有的聚焦区域影像，即处理后的Bayer图像为同一时刻k时目标场景内所有位置的目标均清晰的Bayer图像；Bayer图像恢复装置(33)用于对多路Bayer图像融合装置(32)处理后得到的Bayer图像再经过恢复处理，得到一张全图均清晰的彩色图像；所述的多路Bayer图像融合装置(32)包括图像分块模块、图像块RGB分解模块、图像块清晰度衡量模块、基于清晰度的图像合成模块；图像分块模块，其用于将第k个时刻U个Bayer图像的每一个Bayer图像都完全分割成Q个图像块，；图像块RGB分解模块，其用于将图像分块模块得到的各图像块，，按照RGB颜色属性分别分解成R色子图像块、B色子图像块、G1色子图像块、G2色子图像块；图像块清晰度衡量模块，其用于衡量每一个图像的清晰度；其先分别衡量对应于每一个图像块的四个子图像的清晰度，然后取各子图像块的清晰度之和，得到每一个图像块的清晰度；基于清晰度的图像合成模块，其用于对同一时刻k时U个Bayer图像中相同位置的各图像块的清晰度，取清晰度最大的图像块直接或者带权后作为合成的Bayer图像该位置的图像块的像素值；所述的图像分块模块，其用于将第k个时刻U个Bayer图像的每一个Bayer图像都完全分割成Q个包括r行与r列像素的图像块，，且对同一幅Bayer图像分割成的任意相邻两个图像块之间具有c行或者c列像素重叠，即左右相邻两个图像块之间有c列像素相重叠，上下相邻的两个图像块之间有c行像素相重叠，r取8～64之间的偶数, c取4～32，c<r，r<H，r<N；；表示由第u个Bayer成像装置在第k时刻得到的Bayer图像经分割后得到的第q个图像块，U个Bayer图像在对应的同一图像区域就分成了U个图像块，记为，；所述的图像块RGB分解模块，其用于将图像分块模块得到的各图像块，，按照RGB颜色属性分别分解成R色子图像块、B色子图像块、G1色子图像块、G2色子图像块尺寸分别为(r/2)x(r/2)四个子图像块；具体是对每个图像块，，进行如下操作：取每个图像块的奇数行和奇数列的像素，得到一个(r/2)x(r/2)的R色子图像块，标记为；取每个图像块的偶数行和偶数列的像素，得到一个(r/2)x(r/2)的B色子图像块，标记为；取每个图像块的奇数行和偶数列的像素，得到一个(r/2)x(r/2)的G1色子图像块，标记为；取每个图像块的偶数行和奇数列的像素，得到一个(r/2)x(r/2)的G2色子图像块，标记为；即U个Bayer图像在对应的同一图像区域就分成了U×4个子图像块、、、，其中，用、、、分别表示相应子图像块第i行j列处的像素值；所述的图像块清晰度衡量模块，其用于先对每个子图像块的像元阵列的相邻列像素值对应求差值，取平方，再对每个子图像块的像元阵列的相邻行像素值对应求差值，取平方，再取所有平方值的和，然后将和除以(r/2)2再开平方，用开平方的值表示该子图像块的清晰度，分别得到R色子图像块、B色子图像块、G1色子图像块、G2色子图像块的清晰度量、、和；再将四个子图像块的清晰度求和得到图像块的清晰度，即，表示图像块的清晰度量，当，就分别得到同一时刻k时U个Bayer成像装置得到的所有Bayer图像的各图像块的清晰度量；所述的基于清晰度的图像合成模块，其具体用于：选取最大清晰度的图像块：根据图像块清晰度衡量模块得到的同一时刻k时U个Bayer图像中同一区域q中各图像块的清晰度，求出最大清晰度的图像块号，表示，中最大值时相应的u值，得到最大清晰图像块记为，，构造Bayer合成图像并初始化：构造一个H行N列初始的Bayer合成图像，初始的Bayer合成图像的像素值全为零,即；构造权阵W并初始化：构造H行N列各元素值均为零的权阵W，表示子权阵W的第i行第j列的元素值，即；构造子权阵：构造一个r行r列的子权阵ω，用表示子权阵ω的第i行第j列的元素值，取，；可以看出，当r一定时，ω就成了一个常量阵列；对初始的Bayer合成图像进行一次带权合成：将各最大清晰图像块的像素值带权累加至Bayer合成图像相应位置像素值，即将每一个最大清晰图像块以子权阵ω倍率进行像素值变换，也即将每一个最大清晰图像块的每一个像素值与子权阵ω中相对应的元素值相乘，得到各加权图像块，然后将各加权图像块的每个像素值累加入Bayer合成图像中对应的各个图像块的相应位置的各像素值中，得到一次带权的Bayer合成图像；权阵W赋值：按照Q个最大清晰图像块的位置，将子权阵ω依次累加入权阵W相应的元素值中，得到最终的权阵W；对一次带权的Bayer合成图像进行整体带权：将上述Bayer合成图像依权阵W倒数倍率变换，得到二次带权的Bayer合成图像，即得到最后的全图均清晰的Bayer合成图像；即再将累加后得到的Bayer合成图像的每一个像素值分别除以权阵W对应的元素值，即得到全图均清晰的Bayer合成图像。