[发明专利]一种结合关键运动特征和颜色特征的镜头边界检测方法

权利要求书

1.一种结合关键运动特征和颜色特征的镜头边界检测方法，其特征在于包括以下步骤：

(1)每次读取连续8帧的视频序列，中间两帧是需要进行镜头边界检测的两帧，最后一帧是新加入序列的帧；

(2)根据关键运动特征进行是否有镜头变换的检测；

(3)根据颜色特征对上一步镜头变换检测结果进行复检；

(4)构建帧间差分序列，判断变换镜头的类别，并提取关键帧。

2.根据权利要求1所述的方法，其特征在于步骤(1)中，提取视频序列的具体方法为：首先读取视频的前七帧图像，再与后读入的第八帧图像组成1到8帧的视频序列，其中第四帧和第五帧是当前进行镜头边界检测的两帧，第八帧是新输入的帧；然后读取第九帧图像，与2到8帧组成2到9帧的视频序列，其中第五帧和第六帧是当前进行镜头边界检测的两帧，第九帧是新输入的帧；以此类推，每次对8帧的视频序列进行检测。

3.根据权利要求1所述的方法，其特征在于步骤(2)中，对于需要进行镜头边界检测的中间两帧，首先对第一帧图像进行角点检测，使用的是Shi-Tomasi角点检测方法，其中设定图像中出现的最大角点个数为100个，角点质量评价在0.3以下的点自动忽略，任意两个角点之间的最小欧式距离是5像素，以角点为中心取5像素×5像素的区域，用来匹配相似点；

角点质量评价方法如下：

其中w(x，y)是窗口函数，I(x，y)是该点的强度，I(x+u，y+v)是该点位移强度，E(u，v)是[u，v]这个方向上的图像灰度变化；角点检测需要使E(u，v)最大；

由I(x+u，y+v)＝I(x，y)+I_xu+I_yv+O(u²+v²)，得到：

记上式的结果为Δ，则，

这里I_x和I_y是x和y方向的导数；由于M为2阶方阵，根据|M-λE|＝0,求得M的两个特征值λ₁，λ₂，其中E为单位矩阵，则打分函数为：

R＝min(λ₁，λ₂)

如果打分R超过阈值，即上文所说的0.3，就认为它是角点；

之后使用Lucas–Kanade光流估计方法匹配第一帧图像的角点在第二帧图像上的相似点；其中Lucas–Kanade光流估计的窗口大小设定为15像素×15像素，最大的图像金字塔层数设为2层；由此得到第一帧的角点坐标和第二帧的相似点坐标；

最后利用欧氏距离求每个角点和其相似点的距离，然后对所有的距离求和，得到两帧图像关于关键运动特征的距离；使检测结果中查准率和查全率达到平衡状态，即F₁值达到0.8以上，这里其中P为查准率，R为查全率，以此在10像素到20像素的范围找到F₁最大的值为最佳阈值，若两帧图像关于关键运动特征的距离大于最佳阈值则认为两帧之间存在镜头变换，反之，则认为两帧之间没有镜头变换。

4.根据权利要求1所述的方法，其特征在于：步骤(3)中，将经过粗检得到的镜头进行复检；首先对两帧图像进行分块操作，将图像以边长为50像素的正方形区域进行分割，若图像边缘处边长不足50像素则舍去，记录分块后的图像数量；对于每块图像的颜色特征，使用RGB颜色直方图进行表征；RGB的颜色空间内，每一个通道拥有256个像素值，将这些像素值以16为单位进行分组，得到16×3＝48段颜色区间，统计每个颜色区间的像素值在图像中的总数量，得到RGB颜色直方图；对三个通道分别归一化，并转化为拥有48个元素的数组，对两帧图像对应位置的颜色直方图得到的数组求距离，即对两个数组对应位置的元素求欧氏距离，并求和，得到两帧图像关于颜色特征的距离；使检测结果中查准率和查全率达到平衡状态，即F₁值达到0.8以上，这里其中P为查准率，R为查全率，以此在0.15到0.2的范围内找到F₁最大的值为最佳阈值，若两帧图像关于颜色特征的距离大于最佳阈值则认为两帧之间存在镜头变换，反之，则认为两帧之间没有镜头变换；经过粗检和复检之后，就得到了有镜头变化的帧。

5.根据权利要求1所述的方法，其特征在于步骤(4)中，经过步骤(2)和步骤(3)的检测，确定有镜头变换后才会进行此步；对于步骤(1)中8帧的视频序列，使用步骤(2)和步骤(3)中的方法得到每两帧之间的变化信息，得到帧间差分序列；若既有颜色变化又有运动变化记为(1,1)，若有颜色变化没有运动变化记为(1,0)，若没有颜色变化，只有运动变化记为(0,1)，若既没有颜色变化也没有运动变化记为(0,0)；根据突变镜头只有两帧之间的变化而渐变镜头有多帧连续变化的特点，利用得到的帧间差分序列对变换镜头的类别进行判断；经过步骤(2)和步骤(3)的判断中间两帧被确定为有镜头变换的两帧，则它们之间的变化关系就被量化为了(1,1)；为了方便观测数据，将这8帧的两种变化类型分别记录，则突变镜头的帧间差分序列表示为：

(x，x，0，1，0，x，x，)

(x，x，0，1，0，x，x，)

x为0或1的任意一种情况，下同；

其余情况是渐变镜头，其中渐变镜头希望被提取的关键帧为渐变的首帧和尾帧，渐变镜头首帧的帧间差分序列表示为：

(x，x，0，1，1，1，1，)

(x，x，0，1，x，x，x，)

或

(x，x，0，1，x，x，x，)

(x，x，0，1，1，1，1，)

渐变镜头尾帧的帧间差分序列表示为：

(1，1，1，1，0，x，x，)

(x，x，x，1，0，x，x，)

或

(x，x，x，1，0，x，x，)

(1，1，1，1，0，x，x，)

列出的这五种情况是希望被得到的镜头边界帧；其余情况为渐变镜头的中间帧，虽然得到了它们的镜头变换分类类别，但这些帧不是用户感兴趣的帧，故舍去。