[发明专利]综合颜色和局部不变特征匹配的动画场景自动标注方法

说明书

技术领域

本发明涉及多媒体信息处理技术领域关于基于图像匹配的图像标注方法，其实质是一种通过比较图像相似度得到匹配对象，然后将匹配对象的标注信息进行合并，并将聚类结果作为目标对象的标注信息的方法，是一种综合考虑了图像颜色信息以及图像基于颜色不变量的局部不变特征信息来进行动画场景图像的匹配从而实现图像标注的方法。

背景技术

传统的动画片从制作到生产主要是靠人工来完成的，制作过程中产生了大量的动画场景图像，由于这些图像没有任何的标注信息，往往导致了大量场景素材的浪费，如果能对动画场景图像进行自动标注，就可以通过检索标注信息来得到所需的场景图片，进一步完善动画场景图像库的规范管理，从而大大加速动画的制作时间与效率，对于实际的动画生产行业将具有重大的实际应用价值。

对场景图像进行自动标注的方法主要可以分为基于分类的图像标注以及基于匹配的图像标注两种方法。基于分类的图像标注是利用支持向量机等机器学习技术对图像进行训练分类，从而判定待标注图像的类别，并将该类别信息作为待标注图像的标注信息。这类方法虽然能够减少对人工标注的需求，但是它们通常是根据图像中视觉特征出现的总体情况来进行场景分类，因此该类方法往往适用于具有共同特征分布的图像（例如自然场景图像），而动画场景图像的颜色分布千差万别，不具有明显的共同颜色分布特征，它往往会取决于绘制者的绘制风格，因此这类方法不适用于动画场景图像。而基于匹配的图像标注是基于相似度检索从图像数据库中检索到最相似的一组图像，然后再对这些相似图像的标注信息进行文本合并处理从而得到最终的标注信息。其中，图像匹配指的是通过计算两幅图像之间的特征相似度来判断两幅图像是否相似，它是图像检索领域近年来的一项主要研究。

基于匹配的图像标注主要分为图像匹配与图像标注两个阶段，其中图像匹配结果的好坏直接影响到标注信息的准确度。目前关于图像匹配算法，许多相关的研究工作都集中在如何定义特征的描述子上，特征描述子可分为全局特征描述子与局部特征描述子，全局特征的鲁棒性较强，传统的全局颜色特征包含颜色，纹理，形状等，多数基于全局特征的匹配算法是将彩色图像转化为灰度图像，仅利用亮度信息进行配准，没有充分利用图像的色彩信息，如果受到干扰可能会造成误匹配。与其他的全局视觉特征相比，颜色特征作为一种全局颜色特征对图像本身的尺寸、方向、视角的依赖性较小，从而具有较高的鲁棒性。尤其是在动画场景图像中，颜色信息常常占有很高的比重。通常采用HSV颜色空间或者HSI颜色空间，然而不同的颜色空间对动画场景图像的匹配效果有着明显的不同。通过对200幅以上的素材进行统计，发现大部分动画场景素材和自然场景素材在颜色空间的分布上有着明显的差别。为符合色彩心理学，在动画场景素材里运用的色彩种类不宜过多。同时，在素材的色调饱和度上，通常自然场景中的色调饱和度都较小，而动画场景里饱和度均匀分布在整个区间内。在动画片的图像绘制中常常利用鲜艳的色彩来吸引观众，所以动画场景图像中的色彩饱和度值常常较高，其色调饱和度的分布范围比自然场景色调饱和度分布的范围要大很多。全局颜色特征无法描述具有光照变化，旋转变化等的图像特征。在这方面局部特征相对而言具有更好的优势，但局部特征的处理速度往往较慢，因而不适合用于实时的工程应用，仅仅用来进行理论研究。在图像匹配中的局部不变特征上，SIFT尺度不变特征转换（Scale Invariant Feature Transform，见[D.G.Lowe.Distinctive image features from scale invariant keypoints．International Journal of Computer Vision，2004，60(2)：90~110]）作为一种鲁棒的特征描述方法，在提取灰度图像特征时取得了令人满意的效果，但在处理彩色图像时，则表现出局限性。为使SIFT能更好地用于彩色图像处理，一些研究者做了不同的改进，如部分研究者提出将RGB分量的强度归一化后再用SIFT方法来处理彩色图像，此算法虽具有部分光照不变和几何不变性，但描述色彩不变特征时仍有局限性；部分研究者在提取和识别彩色图像时，先用Bayses颜色分类器标注图像的不同区域，在不同区域进行SIFT描述，并在同种颜色标注的区域之间进行匹配，此方法效果虽好，但必须进行色彩训练，使得该算法的应用受到限制。为此，提出了一种基于颜色不变量的CSIFT特征(Colored invariant feature transform)的彩色图像局部特征描述方法，求出彩色图像各个位置处的颜色不变量，以颜色不变量作为输入图像，再提取特征点并描述特征点周围的信息，通过最近邻匹配法求出图像间的匹配对，最后利用匹配的特征求取图像间的变换参数及配准后图像。相关实验结果表明，对彩色图像进行已知参数值变换时，该算法能得到精度高、误差小的计算结果；对变换关系未知的彩色图像，也能准确地求出图像间的映射关系；且多数情况下运行速度较SIFT快。目前在图像的匹配中还缺乏既准确又快速的描述特征，既缺乏融合全局特征和局部特征的快速图像匹配方法。在图像匹配阶段得到匹配图像结果之后，将匹配结果(即相似图像)的标注信息进行文本上的合并处理，将合并的结果作为目标图像的标注信息，从而实现基于图像匹配的动画场景图像自动标注。传统的文本处理技术主要包括关键词的统计与分类。