[发明专利]用于处理图像的方法、装置和计算机程序

说明书

本申请是申请号为200510134550.3、题为“用于处理图像的方法、装置和计算机程序”、申请日为2005年12月8日的发明专利申请的分案申请。

技术领域

本发明涉及图像处理装置、图像处理方法和计算机程序，尤其涉及用于容易地创建逼真的动画的图像处理装置、图像处理方法和计算机程序。

背景技术

为了在计算机图形中生成逼真的人的面部，翔实的三维面部模型，即三维构造和纹理是必需的。可以得到用于生成翔实的三维面部模型的方法。在Cyberware所执行的一种方法中，对实际的人的面部进行3D扫描。在另一种方法中，基于实际面部模式来产生面部模型，并使用3D指针(在2004年12月6日搜索到的Cyberware在线文档(URL：http://www.cyberware.com/)中公开)来输入面部模型的数据。

这些方法产生逼真的高精度三维(3D)模型，这些方法在需要计算机图形(CG)的电影制作以及通常需要逼真性的游戏软件制作中经常使用。3D扫描仪通常很昂贵，并且扫描整个面部需要很长时间。3D指针也很昂贵。使用3D指针进行的数据输入需要手动执行，因而需要成本和时间。

由于现在可以得到高速低成本的中央处理单元和存储器，因此可以较容易地执行通常是很大量的数字图像数据处理。在一种数据处理中，从多个在不同角度捕获的二维图像中生成3D模型。例如，在以下文献中公开了另一种从在不同角度拍摄的5幅面部图像中生成逼真3D模型的方法：“Synthesizing Realistic Facial Expressions from Photographs”，Proceedingsof SIGGRAPH 98，in Computer Graphics Proceedings，Annual ConferenceSeries，1998，其作者是Frederic Pighin、Jamie Hecker、Dani Lischinski、Richard Szeliski和David Salesin。该方法比Cyberware的方法更容易地生成3D模型。

然而，由于3D面部模型是基于从多个面部图像捕获的面部的特征点来修改的，因此以原始面部图像显示的实际面部中，3D模型中出现微小的差异。更具体而言，由于从多个面部图像中捕获的特征点的准确度不高，因此难以从在一个角度捕获的特征点当中指定准确与在另一角度捕获的面部图像的特征点相对应的特征点。而且，由于照明的关系，即使从正面看上去的面部3D模型也给人以该面部模型不同于实际面部的印象。

在以下文献中公开了另一种技术：“A morphable model for thesynthesis of 3D faces”，Proceedings of ACM SIGGRAPH 99，in ComputerGraphics Proceedings，Annual Conference Series，1999，其作者是Blanz，V和Vetter，T.。根据该技术，通过反复地修改用Cyberware方法获得的3D模型面部来重新组织准确的3D模型，以使单个面部图像的面部部分与Cyberware 3D模型样本的渲染结果之间的误差最小化。

该技术使用了如下算法，其中用大量3D模型样本来反复地修改3D模型。结果，在最终获得3D模型之前需要很长时间。

日本未实审专利申请公布No.2002-32783公开了一种用于生成3D面部模型的技术。根据该公开技术，将适当的三维构造添加(适应)到正面拍摄的单个面部图像。较为容易地生成了与面部图像中实际拍摄的个人的面部具有高相似度的3D面部模型。

由于正面拍摄的单个面部图像不包括面部的侧面部分(从面颊延伸到耳朵的侧面部分、头顶部分，以及下颏的下侧)，因此从面部图像生成的3D模型限于正面拍摄的面部(面部图像中拍摄的面部区域)。如果旋转这种3D模型以生成在倾斜角度观察的CG(在二维图像中)，则3D模型中不存在的面部的侧面部分出现在前面，因而破坏了倾斜观察的CG(看起来不自然)。

设想了通过如下方式向从正面拍摄的单个面部图像生成的3D模型添加面部侧面部分：将以不同方法生成的面部的侧面部分的3D模型与从正面拍摄的单个面部图像生成的3D模型组合起来。

如果将生成面部侧面部分的3D模型的处理与从正面拍摄的单个面部图像进行的3D模型的生成组合起来，则失去了整个处理的简单性。如果将这两个模型合成起来，则在从正面拍摄的单个面部图像生成的3D模型与包括面部侧面部分的3D模型的耦合部分可能出现不匹配。