[发明专利]信息处理装置、信息处理方法和程序

说明书

提供了一种装置和方法，其可以单独音频元素为单位执行用于使得音频源方向追踪显示单元上的显示图像的移动的图像追踪类型音频控制，或者执行图像不追踪类型音频控制。本发明选择性地在显示单元上显示不同方向的图像，并且执行输出音频以及图像显示的控制。数据处理单元以单独可控的音频元素为单位执行图像追踪类型音频控制和图像不追踪类型音频控制，其中，图像追踪类型音频控制随着显示单元上的显示图像的移动而移动音频源的方向，图像不追踪类型音频控制随着图像的移动而不移动音频源方向。数据处理单元从MP4文件或者从MPD文件获得音频控制信息，并且根据所获得的音频控制信息，以音频元素为单位执行图像追踪类型音频控制或者图像不追踪类型音频控制。

技术领域

本公开内容涉及信息处理装置、信息处理方法和程序。更具体地，本公开内容涉及能够根据图像显示配置中的显示图像控制输出音频的信息处理装置、信息处理方法和程序，该图像显示配置能够观察各个方向上的图像，诸如，全天球图像、全向图像或全景图像。

背景技术

近年来，已经开发了能够捕获各个方向上的图像(诸如，全天球图像、全向图像或全景图像)的成像装置，并且正在广泛使用这样的系统，在该系统中，使用这种成像装置捕获的图像被显示在PC、平板电脑终端、移动终端、头戴显示器(HMD)等的显示单元上，并且可以观察用户选择的图像或者根据用户的方向自动选择的图像。

例如，在PC等中，可以获取自外部服务器为360°的全向图像的视频(移动图像)数据或者从记录介质读取并且使其显示在显示装置上。用户能够选择任意方向上的图像，使得所选择的图像显示在显示装置上，并且在自由改变视点的同时观察图像，诸如，移动图像或静止图像。

显示在PC、平板电脑终端或移动终端的显示单元上的图像可以在通过用户的鼠标操作或在触摸板上执行的滑动处理、轻击处理等移动的观察方向上显示，并且用户能够容易地欣赏各个方向上的图像。

在图像显示在头戴显示器(HMD)上的情况下，可以根据基于通过检测安装在HMD上的头部的运动或方向获得的传感器信息的用户头部的方向来显示图像，并且用户能够觉得好像用户在显示在HMD的显示单元上的图像中。

这种图像显示装置大部分具有输出音频以及图像的功能。

在相关技术的输出图像和音频的大部分装置中，以下类型(a)和(b)中的任一个的模式被用作音频输出控制模式：

(a)图像追踪类型音频控制模式，其中，执行控制使得音频收听方向根据观察图像的移动而移动以追踪观察图像。

(b)图像不追踪类型音频控制模式，其中，执行控制使得音频收听方向是固定的而不考虑观察图像的移动。

如上所述，作为相关技术的装置中的音频控制模式，经常采用(a)图像追踪类型音频控制模式或者(b)图像不追踪类型音频控制模式。

进一步地，例如，在专利文献1(日本专利申请公开No.2002-345097)中公开了(a)图像追踪类型音频控制模式。

作为与图像一起输出的音频，例如，除了从包括在图像中的主体(对象)生成的音频之外，包括不是通过图像中的主体(诸如叙述(例如，图像的解释、评论、BGM等))生成的音频。

在音频从图像中的主体生成的情况下，当音频收听方向随着图像的移动而移动时，逼真感增加。

另一方面，在音频不是通过图像中的主体(诸如图像的说明、评论和BGM的叙述)生成的情况下，如果在固定方向连贯地听到音频，则听起来是舒服的。

然而，如果执行控制使得音频追踪图像与音频不追踪图像不同，过程是复杂的，并且难以实现控制。

引用列表

专利文献

专利文献1：日本专利申请公开No.2002-345097

发明内容