[发明专利]图像拼接前的图像处理方法、装置及图像拼接方法及装置

说明书

本发明提供了一种图像拼接前的图像处理方法、装置及图像拼接方法及装置，其中，图像拼接前的图像处理方法包括：获取待处理图像；确定目标区域；调用二维线性伸缩机制对待处理图像进行第一方向的伸缩处理，将经过二维线性伸缩机制处理后输出的图像作为第一方向伸缩后的图像；调用二维线性伸缩机制对第一方向伸缩后的图像进行第二方向的伸缩处理，将经过二维线性伸缩机制处理后输出的图像作为用于进行图像拼接的图像。本发明通过设置二维线性伸缩机制对待处理图像进行二次伸缩处理，从而实现对图像的校正，降低了校正处理的代码量，简化了编程算法和执行过程，同时降低了画面传输延时，提高了系统运行效率。

技术领域

本发明涉及视频图像预处理技术领域，具体涉及一种图像拼接前的图像处理方法、装置及图像拼接方法及装置。

背景技术

目前，在图像显示方面，用户对大屏幕、广视角的、低延时的需求逐渐提高。为了满足上述需求，在图像采集上往往采用多台例如3台摄像机以一定角度固定放置，以此增加视角范围，同时使用多个例如3个屏幕拼接显示，以此来满足用户的上述需求。这就要求把多台摄像机的输入图像无缝拼接，显示于多个屏幕上。现有的图像拼接方法主要包括如下三类：

第一类：图像融合拼接法。该方法利用特征点提取、坐标变换、图像融合的步骤，实现两幅图像的拼接。这种方法要求被拼接的图像之间有足够的多的可匹配的特征点。而这就要求图像的重叠面积通常在30％以上。这大大降低了系统中摄像机的实际覆盖面积，从而降低了摄像机的使用效率，并且提高了系统的成本。同时，上述计算过程涉及大量的方程和反复的图像处理，过程复杂，计算消耗的资源直接导致成本提高而不可能大面积推广。同时计算的复杂度也使得图像拼接过程无法满足现在的高清、实时的要求。

第二类：共光心方法。该方法要求输入图像的多个摄像机镜头的摆放位置在光学上满足共光心的要求，然后直接将输入图像进行拼接。这种方法对摄像机的物理位置精度要求高。然而由于通常摄像机的体积限制，每个摄像机的光心的物理位置都在摄像机的内部，因此在摄像机的预设摆放上不可能实现摄像机的物理位置上的叠加，因而无法在实践中满足共光心的要求。由此直接拼接出来的图像，会因为透视关系不一致而产生视觉上的差异，导致拼接后的物体发生形变。

第三类：简单裁剪拉伸方法。该方法需要限定摄像机的物理位置，虽然不能做到完全共光心，但是可以做到近似的共光心。然后对图像做一些相对简单的处理：例如裁剪、拉伸等，最后实现图像拼接。从视觉效果上虽然仍然难以避免由于透视关系不一致带来的畸变，但是如果摄像机的位置摆放合理的话，这种畸变在宽边显示屏上还可以被接受。

采用上述第三类图像拼接方法，一般需要处理的图像问题有小尺度旋转、梯形及重叠视野的裁剪、位移和拉伸。由于多个相机在实际工作中难以做到精确定位，不能保证其位置处于完全水平，尤其在有俯仰角度存在的情况下，导致两个画面中的同一水平线发生了一定角度的旋转，并且旋转方向不定，如图1所示，同一个水平线在两个画面中为101和102，产生了一定角度的旋转，此时需要采用如图2所示的小角度旋转机制对图像进行校正处理。同时因为摄像机俯仰角度的存在，导致拍摄到的画面上下或左右存在比例失调，如图3所示，较近距离的物体在拍摄出的画面中较大，较远距离的物体拍摄出来较小，这导致一个标准的矩形拍摄出来变成了梯形，就需要采用如图4所示的拉伸机制对其进行校正。又因为摄像机在实际情况中不可能共光心摆放，如图5所示，如果想使拼接画面连续，它们之间一定存在的重叠视野，采用如图6所示的裁剪、拉伸机制对其进行校正，即对重叠部分进行裁剪，然后经过移动对齐，再进行拼接，而裁剪后的图像由于尺度上变小了，因此在拼接前还需要对其进行拉伸，重新达到裁剪前的图像尺寸。

上述中第三类方法是比较实用并且成本比较低的拼接方法。该方法虽然实现起来比较简单，但是，目前仍存在的问题是需要按照不同的图像采用不同的校正处理机制，例如，对于在水平或者垂直方向上倾斜的图像，需要采用小角度旋转机制对图像进行校正处理；对于有俯仰(左右倾斜)角度的摄像机拍摄的图像(拍摄的图像上下或者左右比例失调)，需要采用角度调整机制，