[发明专利]一种深度相机图像序列筛选方法及装置

说明书

本发明实施例提供一种深度相机图像序列筛选方法及装置，该方法包括：获取彩色图像序列，计算彩色图像序列中彩色图像的彩色图像质量值；获取深度图像序列，计算深度图像序列中深度图像的深度图像质量值；根据彩色图像质量值和深度图像质量值计算帧图像的图像质量，其中，成对的彩色图像和深度图像形成图像序列的一帧图像；根据帧图像的图像质量，从相邻帧中筛选最佳质量帧得到图像序列筛选结果。本发明实施例提供的深度相机图像序列筛选方法及装置，通过根据图像序列中彩色图像质量值及深度图像质量值得到帧图像的图像质量，进而得到图像序列筛选结果，提高了图像质量，去除了图像冗余，有利于降低后期三维重建的复杂度及提高三维重建的效率。

技术领域

本发明涉及图像处理技术领域，具体涉及一种深度相机图像序列筛选方法及装置。

背景技术

如今，如kinect等深度相机可以输出成对的深度图像序列和彩色图像序列，当前运用深度图像序列和彩色图像序列构造三维模型的方法中，通常采用的是先构造模型再对三维模型做去噪和滤波处理的方式，从而实现点云模型的优化。

但是，当前深度相机的帧率为30帧/秒左右，意味着在1s的时间内深度相机可采集到多张彩色和深度图像序列。由于拍摄者或拍摄机器人在1s的时间内运动的距离是有限的，拍摄到的图像序列是具有冗余性的。同时，用于三维重建的数据集中有很大一部分都是由拍摄者手持相机拍摄的，手持拍摄的过程中会因相机移动过大或抖动而产生模糊。将模糊帧用于重建过程会影响最终的重建模型结构以及模型的表面纹理。故这种对初始图像序列不加以处理就用于重建的方式会影响后期重建模型的效果，增大后期优化难度。同时，将所有深度图像运用于重建中，也会增大重建过程中点云的量级，使得重建效率低下。

发明内容

为解决现有技术中的问题，本发明实施例提供一种深度相机图像序列筛选方法及装置。

第一方面，本发明实施例提供一种深度相机图像序列筛选方法，包括：获取彩色图像序列，计算所述彩色图像序列中彩色图像的彩色图像质量值；获取深度图像序列，计算所述深度图像序列中深度图像的深度图像质量值；根据所述彩色图像质量值和所述深度图像质量值计算帧图像的图像质量，其中，成对的所述彩色图像和所述深度图像形成图像序列的一帧图像；根据所述帧图像的图像质量得到图像序列筛选结果；所述根据所述帧图像的图像质量得到图像序列筛选结果，包括：根据预设窗口值对应的帧数，从所述图像序列的相邻帧中选出最佳质量帧，从而得到所述图像序列筛选结果；其中，所述预设窗口值与所述图像序列的帧数及深度相机的帧率有关。

进一步地，所述预设窗口值的表达式为：

其中，w_KF表示所述预设窗口值，n表示所述图像序列的帧数，c_fps表示所述深度相机的帧率，ceil表示向上取整运算。

进一步地，所述计算所述彩色图像序列中彩色图像的彩色图像质量值，包括：对所述彩色图像序列中的彩色图像进行灰度化处理，分别得到对应的灰度图像；对所述灰度图像通过小波变换进行预设层级的迭代分解，得到所述预设层级的分解层；计算各个所述分解层的对数能量，并根据所述对数能量得到所述彩色图像质量值。

进一步地，所述对所述灰度图像通过小波变换进行预设层级的迭代分解，包括：通过提升CDF9/7小波对所述灰度图像通过小波变换进行三层迭代分解。

进一步地，所述计算各个所述分解层的对数能量，包括：计算各个所述分解层的子带的对数能量，所述子带包括垂直高频子带、水平高频子带和对角高频子带；根据各个所述分解层的所述子带的对数能量得到各个所述分解层的对数能量。

进一步地，所述计算各个所述分解层的子带的对数能量的公式为：