[发明专利]一种视频融合方法、装置、设备及计算机可读存储介质

权利要求书

1.一种视频融合方法，其特征在于，应用于太赫兹安检系统，包括：

获取安检通道的可见光视频和太赫兹视频，并利用SIFT特征描述子分别提取所述可见光视频和所述太赫兹视频的特征点；

根据预先计算的时空映射关系，对所述太赫兹视频和所述可见光视频进行融合；

其中，所述时空映射关系的计算过程包括：

根据所述可见光视频和所述太赫兹视频的帧频比例系数和预设特征点的轨迹速度曲线，确定所述可见光视频和所述太赫兹视频的时间映射关系；所述轨迹速度曲线为所述可见光视频和所述太赫兹视频中拍摄物体的预设特征点的外部轮廓变化率；所述帧频比例系数为所述可见光视频和所述太赫兹视频的帧频比；

根据所述可见光视频和所述太赫兹视频的采集设备的空间位置关系和所述时间映射关系，确定所述可见光视频和所述太赫兹视频的空间映射关系。

2.根据权利要求1所述的视频融合方法，其特征在于，所述根据所述可见光视频和所述太赫兹视频的帧频比例系数和预设特征点的轨迹速度曲线，确定所述可见光视频和所述太赫兹视频的时间映射关系包括：

所述可见光视频的特征点和所述太赫兹视频相对应的特征点满足下述时间映射关系式：

t`= at+△t；

式中，t为所述可见光视频中特征点的当前时间，t`为所述太赫兹视频中相对应特征点的当前时间，a为帧频比例系数，△t为时间差；

△t的计算方法为：

获取所述可见光视频中的拍摄物体在所述安检通道中运动时，预设特征点的第一外部轮廓变化曲线，并确定所述第一外部轮廓变化曲线中的峰值对应的第一时间；

获取所述太赫兹视频中的拍摄物体在所述安检通道中运动时，相对应特征点的第二外部轮廓变化曲线，确定所述第二外部轮廓变化曲线中的相应峰值对应的第二时间；

计算所述第一时间和所述第二时间的差，以作为所述时间差。

3.根据权利要求2所述的视频融合方法，其特征在于，所述根据预先计算的时空映射关系，对所述太赫兹视频和所述可见光视频进行融合包括：

按照预设频率计算当前的时间差△t，并替代所述时间映射关系式中的时间差；利用替换后的时间映射关系式重新确定空间映射关系，以更新所述时空映射关系；

根据更新后的时空映射关系对所述太赫兹视频和所述可见光视频进行融合。

4.根据权利要求2所述的视频融合方法，其特征在于，所述根据所述可见光视频和所述太赫兹视频的采集设备的空间位置关系和所述时间映射关系，确定所述可见光视频和所述太赫兹视频的空间映射关系包括：

所述可见光视频的特征点和所述太赫兹视频相对应的特征点满足下述空间映射关系式：

HS(t)= S`( at+△t)；

式中，S(t)为所述可见光视频中特征点的当前位置，S`( at+△t)为所述太赫兹视频中相对应特征点的当前位置，H为空间映射参数，所述空间映射参数为3*3矩阵，通过求解多个满足所述空间映射关系式的特征点组成的线性方程组所得。

5.根据权利要求1所述的视频融合方法，其特征在于，在所述获取安检通道的可见光视频和太赫兹视频之后，还包括：

判断所述太赫兹视频中是否存在违禁品图像；

若是，则执行后续操作，若否，则继续获取安检通道的可见光视频和太赫兹视频，直至所述太赫兹视频中存在违禁品图像。