[发明专利]视频结构对齐方法和系统

说明书

本发明实施例提供一种视频结构对齐方法和系统，对齐方法包括：将两个输入视频中任一输入视频的结构边缘信息图和任一输入视频的梯度信息图融合，获取任一输入视频的显著性边缘特征图；对任一输入视频的显著性边缘特征图进行时间维度和空间维度的降采样，构建任一输入视频的显著性边缘特征图层，其中，显著性边缘特征图层自顶层到底层分辨率逐层升高；基于相关性的匹配度量对两个输入视频的显著性边缘特征图层进行匹配，获取预设个数的对齐结果，并选择预设个数的对齐结果中的任一对齐结果进行视频结构的对齐。本发明实施例避免了边缘计算检测等带来的复杂的计算代价，能够高效、快速地做到获取对齐结果进而对齐视频。

技术领域

本发明实施例涉及图像处理技术领域，更具体地，涉及一种视频结构对齐方法和系统。

背景技术

视频匹配技术是计算机图形学领域非常重要的工具，能够帮助用户快速检索符合需要的视频内容。自2002年视频时空对齐被提出以来，视频匹配技术被广泛研究，但已有技术基于局部特征匹配或者颜色匹配，用于快速检索完全相同或视觉相似的场景的视频内容，如VideoSnapping系统，能够基于时间线上部分场景匹配的时间区间，预测出未匹配场景时间区间内的对齐。然而，不同的场景间的视频对齐是一项挑战，其原因在于：首先，不同场景间的视频内容不存在鲁棒的局部特征供匹配；其次，不同的场景间的视频的匹配需要满足视觉上的结构信息对齐。

图像的边缘检测是计算机视觉和图形学领域的基础问题。自1983年Sobel算子和1986年Canny边缘检测算法提出以来，大量工作相继被提出，如统计边缘方法和gPb方法。近年随着深度学习技术的发展，一些基于卷积神经网络的方法被提出，例如基于N⁴域的边缘检测和整体嵌套的边缘检测等。然而，对于从视频中如何提取显著边缘以实现不同的场景间的视频结构对齐，已有工作鲜有研究。

发明内容

针对如何匹配视频的显著性边缘特征以对齐视频的结构的技术问题，本发明实施例提供一种用视频结构对齐方法和系统。

本发明实施例提供一种视频结构对齐方法，包括：将两个输入视频中任一输入视频的结构边缘信息图和所述任一输入视频的梯度信息图融合，获取所述任一输入视频的显著性边缘特征图；对所述任一输入视频的显著性边缘特征图进行时间维度和空间维度的降采样，构建所述任一输入视频的显著性边缘特征图层，其中，所述显著性边缘特征图层自顶层到底层分辨率逐层升高；基于相关性的匹配度量对所述两个输入视频的显著性边缘特征图层进行匹配，获取预设个数的对齐结果，并选择所述预设个数的对齐结果中的任一对齐结果进行视频结构的对齐。

本发明实施例提供一种视频结构对齐系统，包括：获取模块，用于将两个输入视频中任一输入视频的结构边缘信息图和所述任一输入视频的梯度信息图融合，获取所述任一输入视频的显著性边缘特征图；构建模块，用于对所述任一输入视频的显著性边缘特征图进行时间维度和空间维度的降采样，构建所述任一输入视频的显著性边缘特征图层，其中，所述显著性边缘特征图层自顶层到底层分辨率逐层升高；匹配模块，用于基于相关性的匹配度量对所述两个输入视频的显著性边缘特征图层进行匹配，获取预设个数的对齐结果，并选择所述预设个数的对齐结果中的任一对齐结果进行视频结构的对齐。

本发明实施例提供一种视频结构对齐设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述对齐方法。

本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述对齐方法。

本发明实施例提供的视频结构对齐方法和系统，通过设置获取输入视频的显著性边缘特征图层，能够方便后续的匹配视频的显著性边缘特征以对齐视频。通过设置基于相关性的匹配度量进行视频的显著性边缘特征匹配搜索对齐结果，避免了边缘计算检测等带来的复杂的计算代价，能够高效、快速地做到获取对齐结果进而对齐视频。