[发明专利]信息处理设备、信息处理方法以及程序

说明书

技术领域

本发明涉及一种信息处理设备、一种信息处理方法以及一种程序。更具体地，本发明涉及使用融合了真实世界中的真实对象与电子显示的混合现实(MR：Mixed Reality)来执行数据处理的信息处理设备、信息处理方法以及程序。

背景技术

例如，在用户使用PC(个人电脑)执行数据处理时的情况下，用户对显示在PC的显示部(显示器)上的数据执行处理。然而，例如，在执行文档创建的情况下，如果应用于文档创建的页面的显示尺寸变得大于PC的显示部的尺寸(例如窗口尺寸)，则不可能在PC屏幕内显示整个页面，使得必须在屏幕上只显示一部分页面时进行工作。

就是说，在PC的屏幕内不再显示延伸到屏幕以外的信息。为了显示延伸到PC屏幕以外的区域，尽管有可能通过进行滚动处理来显示该区域，但是出现了由滚动而导致的隐藏迄今为止已被显示的区域的问题。为了显示整个页面，尽管有可能执行诸如缩小整个页面或者将屏幕划分为两个的处理，但是当执行了这样的处理时，例如，出现了字符尺寸变小的问题，使得难以进行工作。

通过使用如下数据处理，本发明解决了这样的问题，该数据处理使用了例如混合现实(MR：Mixed Reality)。要注意，作为描述混合现实的相关技术，例如存在专利文献1(日本未审查专利申请公开第2008-304268号)和专利文献2(日本未审查专利申请公开第2008-304269号)。这些文献描述了关于通过使用由相机捕获的图像来创建真实世界的三维地图的处理。

引用列表

专利文献

专利文献1：日本未审查专利申请公开第2008-304268号

专利文献2：日本未审查专利申请公开第2008-304269号

发明内容

技术问题

本发明的目的是提供生成如下合成图像的信息处理设备、信息处理方法以及程序，在该合成图像中，通过使用混合现实(MR：Mixed Reality)的数据处理，各段数据以电子方式附接在PC等的显示部(显示器)外部的区域，并且使得该合成图像可被观察到，从而能够有效地利用用作主要工作区域的显示部外部的空间区域。

问题的解决方案

本发明的第一方面在于一种信息处理设备，其包括：

应用执行部，其在使用第一显示部的数据处理中将非显示数据以及该非显示数据的位置信息存储到存储器中，非显示数据与第一显示部的显示数据相邻；

三维信息分析部，其分析包括在相机捕获图像中的、包含第一显示部的真实对象的三维位置；以及

虚拟对象管理部，其接收对存储器中存储的非显示数据和该非显示数据的位置信息、以及由三维信息分析部分析的第一显示部的三维位置信息，生成由虚拟对象和包括在相机捕获图像中的真实对象形成的合成图像，并且在第二显示部上显示合成图像，其中虚拟对象由非显示数据形成；

其中，虚拟对象管理部在从所述第二显示部上显示的、所述第一显示部的显示数据的边界到所述第一显示部外部的延伸方向上的位置处，设置虚拟对象在第二显示部上的显示位置。

此外，在根据本发明的信息处理设备的实施例中，虚拟对象管理部将作为存储器中存储的非显示数据的位置信息的坐标数据变换到相机坐标系，并且通过应用变换后的坐标数据来确定虚拟对象的显示位置，其中相机坐标系用作第二显示部的显示图像中的显示位置的指示符。

此外，在根据本发明的信息处理设备的实施例中，对象管理部判断在变换到相机坐标系后的虚拟对象的显示位置与形成包括在相机捕获图像中的真实对象的平面之间是否存在交叉，并且如果存在交叉，则执行坐标重新变换处理以便将变换后的坐标数据定位在形成真实对象的平面中，并且通过应用重新变换后的坐标数据来确定虚拟对象的显示位置。

此外，在根据本发明的信息处理设备的实施例中，信息处理设备包括具有应用执行部的第一设备以及具有三维信息分析部和虚拟对象管理部的第二设备，并且经由通信部将由应用执行部存储到第一设备中的第一存储器中的数据传送到第二设备，并且在第二设备中，三维信息分析部和虚拟对象管理部执行使用所接收的数据的处理。

此外，本发明的第二方面在于一种在信息处理设备中执行的信息处理方法，其包括：

应用执行步骤，应用执行部在使用第一显示部的数据处理中将非显示数据以及该非显示数据的位置信息存储到存储器中，非显示数据与第一显示部的显示数据相邻；

三维信息分析步骤，三维信息分析部分析包括在相机捕获图像中的、包含第一显示部的真实对象的三维位置；以及