[发明专利]信号处理装置以及动态图像拍摄装置

说明书

技术领域

本发明涉及一种动态图像的编码技术，特别涉及一种拍摄分辨率高并且比特率低的动态图像时的编码技术。作为所使用的产品有网络相机、车载相机以及数码相机等。

背景技术

近年来，网络相机的高分辨率化不断发展。尽管实现了高分辨率化，但要求作为目标的比特率仍然是按照以往的低比特率。因此，与高分辨率无关，分配给每一帧的编码量仍保持以往的状态，因此，画质变差就成为了技术课题。

在以往的编码器中，为了获得所希望的比特率，按照单纯的跳帧(frame skip)算法来降低帧率。但是，若利用该单纯的跳帧，则在解码时使视觉质量产生明显的不协调的情况很多。

因此，作为防止该视觉质量变差的方法，获取进行编码的帧图像与编码时参照的图像的像素单位的差分，对判断为差分小的图像进行跳帧处理的技术为人所知。判断“像素差分小＝运动小”，只对动作小的帧进行跳帧，减少视觉上的不协调，并且，增加分配给每一帧的编码量(参照专利文献1)。

现有技术文献

专利文献

专利文献1：JP特开2008-236789号公报

发明概要

发明要解决的课题

在利用上述输入帧与参照帧的像素差分进行跳帧判断的情况下，可能即使针对稍微运动，像素差分也会表现得较大。在这种情况下，即使对于运动小的帧也不进行跳帧判断，分配给一帧的编码量变小，会使画质变差。特别是在包含很多高频分量的输入图像的情况下，这种倾向表现显著。

另外，由于在动态图像中对参照帧的移动量和残留的差分值进行编码，因此，像素差分量与编码后的代码大小不成比例关系。因此，即使对于编码量小的帧，如果像素差分大，则判断为跳帧，会留下视觉上的不协调。特别是在包含很多高频分量的输入图像的情况下，这种倾向表现显著。

而且，由于无论对于什么样的场景都利用相同的算法进行跳帧判断，因此，有时不能进行适合场景的跳帧处理。

另外，如果是上述算法，则只能进行针对运动小的场景的跳帧。在运动激烈的场景中，虽然与运动小的场景相比，压缩效率差，但是每一帧的编码量不变，因此，画质变差没有得到改善。

发明内容

本发明的目的是提供一种在拍摄分辨率高并且比特率低的动态图像时，能够动态地变更跳帧的判断阈值的信号处理装置以及动态图像拍摄装置。

解决课题的技术手段

为了达到上述目的，本发明所采用的构成为，在对多个帧的图像数据进行压缩并生成流的信号处理装置中，具有：编码处理部，对所输入的图像数据进行编码；编码判断处理部，通过对图像移动信息和阈值进行比较来进行编码实施判断；跳帧控制部，在不实施编码时进行跳帧控制；以及阈值修正部，基于编码处理的结果来修正编码判断处理部的编码判断用阈值。

在编码判断处理部使用的图像移动信息可以是：以由像素移动计算部进行的代表点匹配方式获得的像素移动信息、能够从透镜控制部获取的角速度传感器信息、能够从图像处理部获取的频率信息中的任意一者或者是它们的组合。

发明效果

在本发明中，如果利用一直以来用于相机的信息(角速度传感器信息或像素移动信息)来判断编码实施判断处理，则用于获取图像移动信息的处理的增加少。另外，由于看的是移动量而不是差分信息，因此，能够提高运动的检测精确度。

另外，相对于以往将运动小的帧全都进行跳帧的情况相比，能够只对运动小并且编码量大(编码效率差)的帧进行跳帧判断。这样一来，只对所需最小限度的帧进行跳帧处理，不仅增加了分配给每一帧的编码量，还能够生成没有视觉上的不协调的流。

除了上述效果之外，由于在进行运动大的场景的判断的情况下也利用编码结果来修正阈值，因此，能够只将编码效率差的帧判断为跳帧。如此一来，能够不过度降低帧率地生成没有视觉上的不协调的流。

附图说明

图1是具有本发明的信号处理装置的动态图像拍摄装置的框图。

图2(a)、(b)以及(c)是图1中的像素移动计算部的代表点匹配算法的说明图。

图3是从图1的透镜控制部获得的角速度传感器信息的说明图。

图4(a)以及(b)是从图1中的图像处理部获得的频率信息的说明图。

图5是表示图1中的信号处理装置的跳帧动作的例子的流程图。

图6是图1中的编码判断处理部的静止图像阈值的说明图。

图7是图1中的编码判断处理部的动态图像阈值的说明图。

图8是图1中的编码判断处理部的静止图像阈值以及动态图像阈值的说明图。