[发明专利]电子稳像方法及终端

说明书

本发明公开了一种电子稳像方法及终端，方法包括：分别获取摄像装置的视频信息以及拍摄所述视频信息时摄像装置的运动角速率；根据所述运动角速率获取摄像装置的姿态信息；将所述姿态信息与初始姿态进行比对，得到比对结果；根据所述比对结果对所述视频信息进行旋转校正；根据卡尔曼滤波对旋转校正后的视频信息进行滤波处理，得到主动运动矢量；对所述主动运动矢量进行曲线拟合，得到拟合运动矢量；根据所述主动运动矢量和拟合运动矢量计算得到运动补偿量；根据所述运动补偿量对所述视频信息进行补偿；输出补偿后的视频信息。适用于对VR全景视频进行电子稳像处理，有利于VR全景摄像机在运动过程中稳定输出视频。

技术领域

本发明涉及摄像技术领域，尤其涉及一种电子稳像方法及终端。

背景技术

随着VR技术的不断成熟和发展，VR技术已经开始在医疗、娱乐和教育等社会领域发挥了重要的作用，VR技术的发展将对社会的发展进步起到巨大的推动作用。

全景摄像机最早应用于勇气号火星探测器，作为人类遣往其他行星上的第一个地面移动机器人，上面装有一对可拍摄火星表面彩色照片的全景摄像机以及各种传感器设备。2007年瑞典厄勒布鲁大学AASS移动机器人实验室研制出一种球形安全机器人GroundBot。该机器人在球形主体的两侧安置了可变焦摄像机拍摄周围环境，生成360度虚拟全景空间。利用获取的全景图像增强机器人对环境的观测感知能力和远程监控能力，并采用机器人的SLAM(Simultaneous Localization and Mapping，同步定位与建图)技术进行机器人自主定位和导航。同年，卡内基梅隆大学与美国宇航局在合作的GlobalConnection项目中，研发出一款全景摄像机器人Gigapan。该全景摄像机器人采用具有重叠的单张图像拍摄方法，生成高达10亿像素的全景图像。

目前全景摄像机根据硬件组成的不同，可以分为多镜头式全景摄像机和单镜头式全景摄像机。单镜头式全景摄像机一般采用单个鱼眼镜头，鱼眼镜头是一种超短焦距、超广角的镜头，其拍摄视野能够达到甚至超过180°。基于光的折射原理，鱼眼镜头的设计与制造一般遵循某个特定的投影模型，如等距投影模型，其投影模型及参数决定了鱼眼镜头的视野、分辨率分布情况。鱼眼图像有严重的畸变，如场景中的直线在鱼眼图像中可能成了曲线，因此鱼眼图像不适合人眼观察，需要把鱼眼图像校正成“看起来”正常的图像，去除或减少畸变，这一过程一般被称作鱼眼镜头畸变校正。多镜头式全景摄像机首先通过有规律地排列多个普通镜头来覆盖整个拍摄视野，然后通过图像配准、图像拼接及图像融合等技术来生成完整、无缝的全景图像。

全景摄像机的成功研制己经有将近十年的时间，但却一直没有得到广泛的应用，主要是由于技术和成本的限制。多镜头式需要使用多个摄像机，成本较高且图像拼接融合技术较为复杂；单鱼眼式相对普通镜头来讲同样价格偏高，且畸变图像后的分辨率及效果不尽如人意。随着计算摄影领域的深入研究和图像处理技术的逐步发展，人们对全景摄像水平的要求也越来越高，将电子稳像技术融入到全景摄像机的自动处理功能中，从而得到稳定、高清的视频图像。

电子稳像技术主要包括运动矢量估计和提取、运动矢量滤波和运动矢量补偿等三部分。运动矢量估计和提取的主要方法有硬件方法和软件方法，硬件方法主要是采用各种精确的传感器如激光陀螺仪、电子陀螺仪和高精度棱镜等测量像机出现的位移及角速度，软件方法进行运动矢量的提取主要有匹配法、光流法和特征法等进行帧间运动矢量的估计与提取。运动矢量滤波主要是为了去除随机抖动保留摄像机自身运动或拍摄范围内目标存在的运动，常用的滤波方法主要有均值滤波法、最小二乘曲线拟合法、卡尔曼滤波法等，进行主动运动和随机抖动分量的分离。运动矢量补偿是根据求出的全局运动估计矢量去除随机抖动获得补偿矢量，进行帧间运动矢量的补偿，最终达到视频序列的稳定流畅，常用的运动矢量补偿包括多假设运动补偿、重叠块运动补偿、多矢量平均等方法。