[发明专利]可穿戴设备的图像序列场景分割方法

摘要

本发明公开了一种可穿戴设备的图像序列场景分割方法，主要解决现有技术鲁棒性差、操作复杂的问题。其实现步骤是1.对采集得到的RGB彩色图像序列计算其两两相邻帧间的相似性系数；2.计算RGB彩色图像序列的质量评价系数并对其进行中值滤波，得到无冲击干扰的图像质量评价系数；3.结合中值滤波后的图像质量评价系数曲线，通过快速联合双边滤波器对图像序列帧间相似性系数进行细化处理，得到RGB彩色图像序列的场景边界描述曲线；4.求解场景边界描述曲线的局部极大值点，作为图像序列的场景分割点。本发明能有效地定位图像序列中场景变化点的位置，并保留图像序列的时间关系，可用于各个场景中代表性图像的提取。

主权项

一种可穿戴设备的图像序列场景分割方法，包括如下步骤：(1)通过可穿戴设备的日常采集，得到RGB彩色图像序列，其中R代表红色，G代表绿色，B代表蓝色；(2)获取每帧RGB彩色图像8×8×8bins的512维RGB颜色直方图数据，得到RGB彩色图像序列的颜色直方图数据集合X:2a)将每帧RGB彩色图像每个像素的R、G、B分量值转化为颜色直方图H值，即将R分量右移5位，记为R5，将G分量右移2位，记为G2，将B分量左移1位，记为B‑1，得到H＝B‑1+G2+R5，其中H取值范围为[0‐511]；2b)遍历每帧图像的每个像素，找到颜色直方图H值，将该H值对应的像素个数Yi累加1，获得一组表示图像像素对应每个H值的像素数量的数据Y(k)＝{Y(k)1,Y(k)2,…,Y(k)i,…Y(k)512}，其中i取值范围为[1‐512]，k取值范围为[1‐n]，n为图像序列长度；2c)根据步骤2b)得到的数据，计算得到一组归一化的数据：X(k)＝{X(k)1,X(k)2,…,X(k)i,…X(k)512}，其中，Xi(k)表示对应H值的像素个数归一化值，式中N×N为第k帧图像的总像素数；2d)由每帧图像的颜色直方图数据X(k)得到该图像序列的颜色直方图数据集合：X＝{X(1),X(2),…,X(k),…X(n)}；(3)计算图像序列的颜色直方图数据集合X中两两相邻帧间RGB颜色直方图的巴氏距离，作为帧间相似性的度量，得到RGB彩色图像序列的帧间相似性系数集合S，用两两相邻帧间相似性系数作为纵坐标值，图像序列帧数作为横坐标值，获得该图像序列的帧间相似性曲线Is(x,y)，其中(x,y)是曲线中任一点的坐标；(4)将RGB彩色图像序列转换为256级灰度图像序列，计算每帧灰度图像的质量评价系数，得到图像质量评价系数集合p:4a)分别计算每帧灰度图像的亮度平均值μf和亮度均方差σf2：μf=1N2Σl=1NΣj=1NIf(l,j),]]>σf2=1N2Σl=1NΣj=1N(If(l,j)-μf)2,]]>式中，If(l,j)为图像序列中第f帧图像像素灰度值，(l,j)为图像序列中第f帧灰度图像中任一像素的坐标，N×N为图像序列中第f帧灰度图像的大小；4b)根据步骤4a)得到的数据，计算每帧图像的质量评价系数pf：pf=0,μf=0σf2/μf,μf≠0;]]>4c)由每帧图像的质量评价系数pf得到该图像序列的质量评价系数集合：p＝{p1,p2,…,pf,…pF}，其中f取值范围为[1‐F]，F为图像序列的质量评价系数数据的长度；(5)对质量评价系数集合p进行一维中值滤波，得到图像质量评价系数集合q，用每帧图像的评价系数作为纵坐标值，图像序列帧数作为横坐标值，得到该图像序列中值滤波后的图像质量评价系数曲线Iq(x,y)；(6)结合中值滤波后的图像质量评价系数曲线Iq(x,y)，通过快速联合双边滤波器对图像序列帧间相似性曲线Is(x,y)值进行细化处理，得到多信息指导下反应场景变化的场景边界描述曲线Ic(x,y)：6a)将图像序列帧间相似性系数曲线Is(x,y)和中值滤波后的图像质量评价系数曲线Iq(x,y)作为快速联合双边滤波器的输入参数，并对Iq(x,y)的空域分辨率和值域分辨率分别进行16倍和10倍的降采样，得到网格化的三维空间(xd,yd,Id)，其中xd，yd，Id分别为降采样后的空间横、纵坐标及幅值；6b)利用网格化的三维空间(xd,yd,Id)构造幅值三维数组Idata(xd,yd,Id)和权值三维数组Iw(xd,yd,Id)；6c)遍历中值滤波后的图像质量评价系数曲线Iq(x,y)的每个元素，将该Iq(x,y)和图像序列帧间相似性系数曲线Is(x,y)中相同位置元素的幅值累加到幅值三维数组Idata(xd,yd,Id)中，同时将权值三维数组Iw(xd,yd,Id)累加1；6d)分别对累加后的幅值三维数组Idata(xd,yd,Id)和权值三维数组Iw(xd,yd,Id)进行三维高斯滤波，得到幅值滤波结果I'data(xd,yd,Id)和权值滤波结果I'w(xd,yd,Id)，并对其进行归一化处理得到幅值归一化结果：IN(xd,yd,Id)＝I'data(xd,yd,Id)./I'w(xd,yd,Id)，其中./表示点除；6e)对幅值归一化结果IN(xd,yd,Id)进行三线性插值运算，得到场景边界描述曲线数据；6f)用1减去场景边界描述曲线数据的每个元素，得到最终的场景边界描述曲线数据a＝{a1,a2,…ae,…,av}，其中，ae表示场景边界描述曲线的第e个数据，e的取值范围为[1‐v]，v为场景边界描述曲线数据长度；6g)将步骤6f)得到的数据作为纵坐标值，图像序列帧数作为横坐标值，得到该图像序列场景边界描述曲线Ic(x,y)；(7)求解场景边界描述曲线Ic(x,y)的局部极大值点，作为图像序列的场景分割点。