[发明专利]基于参考帧变换及拼接尺寸自适应的同步在线拼接方法

摘要

本发明涉及一种基于参考帧变换及拼接尺寸自适应的同步在线拼接方法。针对拼接结果与视频流要求同步一致的情况，本发明使用了共享内存技术，保证待拼接帧为当前最新帧，从而实现同步性；为了保证拼接结果的准确性，使用了参考帧变换技术，减少了累积误差，增加了视频流的可拼接时长；针对给拼接结果分配固定尺寸，造成的内存资源浪费和拼接性能下降的问题，本发明使用了拼接尺寸自适应技术，动态计算应该分配的尺寸大小，减少不必要的内存开销，提高拼接性能。

主权项

一种基于参考帧变换及拼接尺寸自适应的同步在线拼接方法，其特征在于步骤如下：步骤1：将第一帧图像作为参考帧，下一帧作为拼接帧，提取当前参考帧与最新拼接帧的SIFT特征点并进行匹配，将参考帧和拼接帧的能够匹配的特征点数量与设定的阈值进行比较：如果特征点数量高于设定的阈值，进入步骤2；如果特征点数量小于设定的阈值，再重新取下一帧作为拼接帧进行比较：如果特征点数量高于设定的阈值，进入步骤2；否则认为这两次匹配无效，重新选择参考帧，新的参考帧为与旧参考帧能够有效匹配的最新拼接帧；步骤2：根据两帧图像之间的特征点对应关系，计算透视变换模型：$H=\left[\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& h_9\end{array}\right]---\left(1\right)$其中，h₁，h₂，h₃用于表示拼接帧图像在给定世界坐标系x轴方向上的平移和旋转，h₄，h₅，h₆用于表示拼接帧图像在给定世界坐标系y轴方向上的平移和旋转，h₇，h₈，h₉用于表示拼接帧图像的尺度变换；步骤3：计算透视变化模型的重投影误差，判断透视变化模型参数是否无效：a、假设待拼接图像中任意像素p＝(x,y,1)^T，由下式计算此像素在参考帧图像中对应的像素p'＝(x',y',1)^T：$\left\{\begin{array}{c}{x}^{\′}=(h_{1}x+h_{2}y+h_3)/(h_{7}x+h_{8}y+h_9)\\ y^{\′}=(h_{4}x+h_{5}y+h_6)/(h_{7}x+h_{8}y+h_9)\end{array}\right.---\left(2\right)$写成矩阵的形式为：${(x^{\′},y^{\′},1)}^T=\frac{1}{(h_{7}x+h_{8}y+h_9)}\left[\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& h_9\end{array}\right]{(x,y,1)}^T---\left(3\right)$b、计算p'＝(x',y',1)^T重新投影到此拼接帧图像的对应像素p″＝(x″,y″,1)^T：${(x^{\′\′},y^{\′\′},1)}^T=\frac{1}{(h_7^{\′}x+h_8^{\′}y+h_9^{\′})}{H}^{-1}{(x^{\′},y^{\′},1)}^T---\left(4\right)$其中，h'₇、h'₈、h'₉是H^‑1第三行的元素；c、重投影误差由下式计算：$\mathrm{error}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\sqrt{{|{x_i}^{\′\′}-x_i|}^2+{|{y_i}^{\′\′}-y_i|}^2}---\left(5\right)$如果误差大于5个像素，则认为此透视变化模型参数无效；步骤4：自适应调整拼接图像尺寸：根据透视变换模型和公式3，计算拼接帧四个顶点的图像坐标经过透视变换后在参考帧图像坐标系下的坐标：所述的拼接帧四个顶点的图像坐标：左上角Left_Up＝(0,0)，右上角Right_Up＝(width,0)，左下角Left_Bottom＝(0,height)，右下角Right_Bottom＝(width,height)；所述的经过透视变换后的在参考帧图像坐标系下的坐标：左上角Left_Up＝(x_lu,y_lu)，右上角Right_Up＝(x_ru,y_ru)，左下角Left_Bottom＝(x_lb,y_lb)，右下角Right_Bottom＝(x_rb,y_rb)；确定width,x_lu,x_ru,x_lb,x_rb和height,y_lu,y_ru,y_lb,y_rb中的最大值和最小值：$\left\{\begin{array}{c}\max X=\max (\mathrm{width},x_{\mathrm{lu}},x_{\mathrm{ru}},x_{\mathrm{lb}},x_{\mathrm{rb}})\\ \min X=\min (0,x_{\mathrm{lu}},x_{\mathrm{ru}},x_{\mathrm{lb}},x_{\mathrm{rb}})\\ \max Y=\max (\mathrm{height},y_{\mathrm{lu}},y_{\mathrm{ru}},y_{\mathrm{lb}},y_{\mathrm{rb}})\\ \min Y=\min (0,y_{\mathrm{lu}},y_{\mathrm{ru}},y_{\mathrm{lb}},y_{\mathrm{rb}})\end{array}\right.---\left(5\right)$计算需要生成的拼接结果的尺寸，其中ε_w、ε_h是尺寸补偿：$\left\{\begin{array}{c}\mathrm{new}\_\mathrm{width}=\max X-\min X+{\mathrm{\ϵ}}_w\\ \mathrm{new}\_\mathrm{height}=\max Y-\min Y+{\mathrm{\ϵ}}_h\end{array}\right.---\left(6\right)$按照此尺寸动态地分配内存空间给拼接帧图像，再利用逐像素复制，完成图像拼接。