[发明专利]图像处理装置和图像处理方法

说明书

技术领域

本发明涉及采用了AR标记和自然特征追踪方法的组合的AR图像处理装置和方法。

背景技术

在许多领域中，已经采用了这样的AR图像处理装置，所述AR图像处理装置被配置为通过使用增强现实(AR)技术来在诸如AR标记图像之类的目标对象图像上实时地合成CG对象，所述目标对象图像是由作为诸如网络相机或数字视频相机之类的图像捕获设备的相机所捕获的。

基于标记的AR技术涉及：在形成具有数字图像中的特定形状的组的高级特征点中进行登记；通过使用单应矩阵等来从由图像捕获设备捕获的数字图像中检测所登记的特征点；估计组的位置和姿态等；并且在与组的位置和姿态等对应的AR标记图像的位置处合成并显示CG对象。

在该AR技术中，事先登记并且具有特定形状的特征点被称为AR标记(或简称为“标记”)。通过在标记的登记中增加用于指示现实世界中的标记的尺寸和姿态的额外信息，可以在一定程度上准确地估计到从图像捕获设备获取的数字图像中的AR标记的距离和所述AR标记的尺寸。而且，当在数字图像中不存在可识别的特征点时，显然无法估计标记的位置和姿态。

基于自然特征追踪的AR技术(其典型代表为PTAM(“Parallel Tracking and Mapping for Small AR Workspaces(小型AR工作空间的并行追踪和映射),牛津大学))是优秀的方法，其不需要在数字图像中事先登记特征点，并且其允许以任意方向和向任何位置移动图像捕获设备，只要能够追踪特征点即可，即便当连续移动图像捕获设备的位置时也是如此。

然而，由于需要首先指定基础位置，因此需要以特定方式来移动图像捕获设备，以根据随着相机的移动而捕获的多个图像中的特征点的移动量来确定基础位置，并且需要额外地提供位置和姿态信息。在这个过程中，除非正确地移动图像捕获设备，否则无法准确地确定基础平面。此外，在基于自然特征追踪的AR技术中，由于因为技术的特性而通常没有执行特征点的事先登记，因此无法准确地知晓与所捕获的数字图像中的特征点的尺寸和所述特征点之间的距离相关的信息。因此，存在通常使用的这样的方法，即相对于基础平面来手动设置CG对象的尺寸、方向和位置。

现有技术文献

专利文献

专利文献1：日本专利申请公开No.2011-141828

专利文献2：日本专利申请公开No.2012-003598

发明内容

本发明要解决的问题

本发明的目的在于提供一种AR图像处理方法和装置，其集成了常规的基于标记的AR技术和常规的基于自然特征追踪的AR技术这两者的优势，并且在由相机捕获的自然景致等的数字图像上适当地合成并显示CG对象。

更具体而言，本发明的目的在于提供一种AR图像处理方法和装置，其能够以准确的位置、尺寸和姿态而不需要手动定位操作，在由相机捕获的自然景致等的数字图像上实时地合成并显示CG对象，并且即使在向各个位置并且在各个方向上移动所述相机时，其也能够实现实际再现。

解决问题的方案

本发明提供的AR图像处理方法包括如下步骤：包括如下步骤：获取由相机捕获并且包括AR标记及其周边环境的固定视场中的场景；使得第一AR分析器分析由所述相机捕获并且包括AR标记图像及其周边环境的所述场景的第一捕获图像，确定所述AR标记图像在所述视场中的位置、姿态和缩放，并且在与所述AR标记图像的位置、姿态和缩放相对应的所述视场中在适当的位置处虚拟放置对应的CG对象；使得第二AR分析器针对在第一视场中在适当的位置处虚拟放置的CG对象来计算所述CG对象在由所述相机在第二视场中随后捕获的第二捕获图像中的所述相机的所述第二视场中的外观；使得CG呈现单元在所述相机的第二捕获图像中的适当的位置处合成在所计算出的外观中的所述CG对象的图像；以及使得显示单元显示所合成的图像。