[发明专利]综合颜色和局部不变特征匹配的动画场景自动标注方法

权利要求书

1.一种综合颜色和局部不变特征匹配的动画场景自动标注方法，其特征在于包括以下步骤：

第一步，对目标图像即待标注图像进行预处理，即利用现有的数字图像处理技术中的图像灰度分段先行变换函数对目标图像进行预处理，计算目标图像中所有像素的灰度值，将其中灰度值高于100的像素灰度值放大，同时将灰度值低于30的像素灰度值缩小； 

第二步，计算目标图像与动画场景图像素材库中图像之间的全局颜色相似度，进行颜色特征过滤，动画场景图像素材库是已经具有标注信息的动画场景图像集，该素材库包含12类动画场景图像，分别为马路、高楼、房屋、室内、室外、冰山、树木、天空、桥、河流、山以及森林；其场景的标注规范为：类别标签；景别标签； 时间标签；其中类别标签为上述12种类别信息中的任意几种类别组合，景别标签为远景或近景，时间标签是白天、傍晚或者晚上；颜色特征过滤的方法是：

2.1、分别提取目标图像与素材库中所有图像的                                               颜色特征，其中、、是三个颜色分量的值，计算方法如下：

         (1)

                 (2)

                          (3)

其中角度是像素点在空间中与红色轴之间的夹角，分别表示图像的红、绿、蓝三个颜色分量，计算时值已归一化到范围[0,1]；在得到图像中所有像素的、、三个分量之后，对这三个分量的分布情况分别进行统计，将所有像素值的分布范围分为个区间，分别统计在个分布区间的像素个数从而得到个数值，将这个数值组成一维向量作为图像的向量；将所有像素值的分布范围分为个区间，分别统计在个分布区间的像素个数从而得到个数值，将这个数值组成一维向量作为图像的向量；将所有像素值的分布范围分为个区间，分别统计在个分布区间的像素个数从而得到个数值，将这个数值组成一维向量作为图像的向量，得到图像i的分布为， 和；图像i的全局颜色特征为维的向量；、、均为正整数； 

2.2、计算目标图像与动画场景图像素材库中图像的颜色相似度，利用欧式距离计算维颜色向量之间的距离值，计算方法如下：

                             (4) 

其中表示第一幅图像的全局颜色特征里的第k维向量值，表示第二幅图像的全局颜色特征里的第k维向量值，是最终得到的距离值；将通过公式（4）计算得到的距离值作为颜色相似度，然后将目标图像与动画场景图像素材库图像的颜色相似度进行排序，取出前幅图像作为颜色过滤后的匹配图像结果，；

第三步，分别提取颜色特征过滤后的匹配图像结果与目标图像的CSIFT即基于颜色不变量的特征变换特征，并分别计算它们之间的基于的全局颜色特征相似度和基于CSIFT的局部特征相似度，具体包括以下步骤：

3.1、依据Kubelka Munk理论计算图像的颜色不变量以及基于颜色不变量的局部特征：

首先计算物体的光谱辐射特性及其微分值， 表达为公式（5）：

                              (5)

式中表示波长，为二维矢量，表示观测位置，表示光谱强度，表示处的Fteanel反射系数，表示材料反射率，为观测处的反射谱；对分别求一阶导数得到，对求二阶导数得到；根据CIE1964XYZ的标准条件，彩色图像的分量和的关系近似为公式（6），根据图像的值得到的值，将图像转换至空间并得到、、三个分量的值，根据公式（6）计算：

             (6)

依据公式（7）计算颜色不变量，计算方法为：

         (7)

图像的颜色不变量表征一种物体的反射特性，不依赖于视点、表面方位、光照方向和光照强度，其梯度幅值和方向的计算方法为公式（8）和公式（9）：

          (8)

                  (9)

然后以颜色不变量为输入信息，用SIFT方法即尺度不变特征转换方法，进行提取和描述，提取的特征信息即为该彩色图像上的CSIFT特征；

3.2、计算图像之间CSIFT特征的相似度，用欧氏距离度量图像间的初始匹配：设场景图像、中分别有、个特征点，在个特征点中任取一点的特征描述向量，计算与中的个特征向量的欧式距离值，其中，若特征点与个特征点中的点的距离中的极小值与次极小值的比值小于阈值，则认为特征点与特征点匹配， 取值为0.75；然后遍历中的特征点，找出可能的匹配对；最后将得到的正确匹配对个数作为两个局部不变特征之间的相似度；

第四步，将第三步得到的幅图像的颜色相似度和基于CSIFT的局部特征相似度进行融合，得到最后的总相似度，方法是：

令为两幅图像之间的全局颜色特征相似度，为基于颜色不变量的局部特征之间的相似度，颜色相似度与局部不变特征相似度融合后的总相似度计算方法如下：

4.1 若，取值在0.45-0.55之间，并且， 取值在2.5-3.5之间，则以为主要相似度，的权重值为，取值为100，为次要相似度，其权重值为，设为50，按公式（10）计算得到该情况下的总相似度：

                          (10)

4.2若，取经验值在13-15之间，按照公式(11)计算得到该情况下的总相似度：

                           (11)

4.3若，按照公式（12）计算得到该情况下的总相似度：

                          (12)

4.4若，按照公式（13）计算得到该情况下的总相似度：

                             (13)

4.5将4.1-4.4计算得到的总相似度进行重新排序，凡是总相似度大于阈值的图像均作为最相似的匹配图像结果，取值为405，最终获得幅匹配结果图像，；

第五步，对第四步得到的幅匹配结果图像的标注信息进行文本处理并合并，幅图像中每幅图像的标注信息为，标注信息主要分为三部分，其中为图像i的类别标签信息，为图像i的景别标签信息，为图像i的时间标签信息，将这些匹配图像结果的标注信息进行文本并集，去掉重复的部分，其方法如下：

5.1、对个标注信息中的类别标签信息进行并集，首先将类别标签信息按照文本分割的方法分解为多个关键词，即，然后将所有类别标签信息中的关键词进行合并，即最终的类别标签信息，若某两个关键词相同，即，则，即去掉重复的类别信息，然后按类别标签中关键词的权重进行排列，关键词的权重按照其在匹配图像序列中的排序度进行定义，在类别标签中的所有关键词的权重值取决于在幅图像中的位置，其权重值为，若同一个关键词出现在两个类别标签信息与中，则其权重值为两个类别标签的权重之和即；在计算完所有关键词的权重之后，按照各个关键词的权重进行排序组合得到目标图像标注信息中的类别标签信息；

5.2、对个标注信息中的景别标签信息和时间标签信息进行文本的合并，首先分别统计这个景别标签与时间标签中的各种不同标注信息的数量，并抽取出现频率最高的标注信息作为目标图像的景别标签信息和时间标签信息，得到目标图像的景别标签信息与；

5.3、将类别标签信息与景别标签和时间标签信息进行文本合并，即直接并集，得到目标图像的最终标注信息。