[发明专利]融合声对象信息的设备和方法

说明书

技术领域

以下说明涉及增强现实(Augmented Reality(“AR”))，更具体地讲，涉及用于融合声对象信息以提供将图像与声音融合起来的增强现实(“AR”)服务的设备和方法。

背景技术

增强现实(“AR”)是提供了其中用户的眼睛所看到的真实世界与提供了附加信息的虚拟世界融合起来的图像的虚拟现实(“VR”)的一种。AR类似于现有的VR。VR只为用户提供了虚拟的空间和对象，而AR基于真实世界合成虚拟对象以提供不能在真实世界中容易地成为对象的附加信息。不同于基于完全虚拟世界的VR，AR将虚拟对象与真实环境结合起来以向用户提供更逼真的感觉。在美国和日本已经从1990年代的下半期开始对AR进行研究。随着诸如移动电话和个人数字助理(“PDA”)之类的移动装置的计算能力的提高、以及无线网络装置的发展，各种AR服务当前正被提供。

例如，与由移动电话的相机拍摄到的真实环境中的对象相关联的细节和附加信息被虚拟地生成且与对象的图像融合起来，并且其后输出到显示器。然而，传统的AR服务是基于图像的服务，并且对于提供各种附加AR服务存在限制。

发明内容

本发明的示例性实施方式提供了一种用于提供将实际图像与声音融合起来的增强现实(“AR”)服务的设备和方法。

本发明的附加特征将在以下描述中被阐述，并且将根据该描述部分地变得清楚，或者可通过对本发明的实践而被了解。

本发明的示例性实施方式披露了一种声对象信息融合设备，包括：声对象化单元，用于估计接收到的声音的方向和位置，用于基于估计出的接收到的声音的方向和位置来对接收到的声音的声音模式进行分类，并且用于基于接收到的声音的声音模式来识别接收到的声音的对象；声对象信息生成器，用于获取与识别出的接收到的声音的对象相关的附加信息，并且用于由此生成声对象信息；以及融合单元，用于将声对象信息与真实的图像或真实的声音融合起来。

本发明的示例性实施方式披露了一种生成与声音相关联的声对象信息并且在用户终端中将声对象信息与真实的图像或声音融合起来的方法，包括步骤：估计通过麦克风阵列接收到的声音的方向和位置；基于估计出的接收到的声音的方向和位置来对接收到的声音的声音模式进行分类；通过参考存储有多个对象的声音峰值的声音模式数据库来识别与声音模式的声音峰值相关联的对象；获取与所确定的对象相关的附加信息以生成接收到的声音的声对象信息；以及将声对象信息与真实的图像或声音融合起来。

应该理解，前述总体描述和以下详细描述是示例性的和说明性的，并且旨在提供对所要求保护的本发明的进一步的说明。其它特征和方面将根据以下详细的描述、附图、和权利要求而变得清楚。

附图说明

被包括以提供对本发明的进一步理解并且结合到该说明书中且构成该说明书的一部分的附图说明了本发明的实施方式，并且与说明书一起用于说明本发明的原理。

图1是说明根据示例性实施方式的声对象信息融合设备的图。

图2示出了根据示例性实施方式的声对象信息融合设备的麦克风阵列。

图3是描述了根据示例性实施方式的声对象信息融合方法的流程图。

图4示出了根据示例性实施方式的对声对象信息与真实的图像或声音的融合。

图5示出了根据示例性实施方式的对声对象信息与真实的图像或声音的融合。

图6示出了根据示例性实施方式的对声对象信息与真实的图像或声音的融合。

图7示出了根据示例性实施方式的对声对象信息与真实的图像或声音的融合。

具体实施方式

以下参照示出了本发明的实施方式的附图来更全面地描述本发明。然而，本发明可以多种不同形式实施，并且不应被理解为限于本文陈述的实施方式。相反，提供这些实施方式使本公开变得完善，并且将向本领域技术人员完全地传达本发明的范围。在附图中，为了清楚起见可能夸大层和区域的大小和相对大小。在附图中相同的标号表示相同的元件。