[发明专利]对象交互方法及装置、系统、计算机可读介质和电子设备

说明书

本发明公开了一种对象交互方法及装置、系统、计算机可读介质和电子设备，涉及增强现实技术领域。该对象交互方法包括：确定终端设备在现实环境坐标系下的位姿；根据第一对象的像素信息和深度信息确定第一对象相对于终端设备的位姿；其中，第一对象为现实环境下的真实对象；根据终端设备在现实环境坐标系下的位姿以及第一对象相对于终端设备的位姿，确定第一对象在现实环境坐标系下的位姿；确定现实环境坐标系下第二对象的位姿；其中，第二对象为虚拟对象；根据第一对象在现实环境坐标系下的位姿以及现实环境坐标系下第二对象的位姿，控制第一对象与第二对象进行交互。本公开可以在三维尺度实现虚实对象的交互，使得交互效果更加真实。

技术领域

本公开涉及增强现实技术领域，具体而言，涉及一种对象交互方法、对象交互装置、对象交互系统、计算机可读介质和电子设备。

背景技术

增强现实(Augmented Reality，AR)是一种将虚拟元素融入现实世界并可进行虚实交互的技术。随着终端设备处理能力的提升，增强现实技术可以被广泛应用于游戏、教育、医疗、交通、信息跟踪等各个领域。

目前，在采用增强现实技术实现真实物体与虚拟物体之间交互的过程中，完全依赖于用户针对终端屏幕的触摸操作，例如，用户通过触摸用于控制虚拟物体的控件，可以实现虚拟物体的平移、旋转、放置、删除等效果。

一方面，基于终端屏幕的触摸操作不符合人们在日常活动中的交互习惯，导致用户在使用时操作不方便；另一方面，在一些相关技术中，仅基于物体之间的位置关系来实现虚实交互，可能出现不符合交互常识的场景，用户的交互体验差。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种对象交互方法、对象交互装置、对象交互系统、计算机可读介质和电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的增强现实技术虚实交互效果不佳的问题。

根据本公开的一个方面，提供一种对象交互方法，应用于终端设备，该方法包括：确定终端设备在现实环境坐标系下的位姿；根据第一对象的像素信息和深度信息确定第一对象相对于终端设备的位姿；其中，第一对象为现实环境下的真实对象；根据终端设备在现实环境坐标系下的位姿以及第一对象相对于终端设备的位姿，确定第一对象在现实环境坐标系下的位姿；确定现实环境坐标系下第二对象的位姿；其中，第二对象为配置在现实环境下的虚拟对象；根据第一对象在现实环境坐标系下的位姿以及现实环境坐标系下第二对象的位姿，控制第一对象与第二对象进行交互。

根据本公开的一个方面，提供一种对象交互装置，应用于终端设备，该装置包括终端位姿确定模块、第一对象位姿确定模块、坐标转换模块、第二对象位姿确定模块和对象交互模块。

具体的，终端位姿确定模块用于确定终端设备在现实环境坐标系下的位姿；第一对象位姿确定模块用于根据第一对象的像素信息和深度信息确定第一对象相对于终端设备的位姿；其中，第一对象为现实环境下的真实对象；坐标转换模块用于根据终端设备在现实环境坐标系下的位姿以及第一对象相对于终端设备的位姿，确定第一对象在现实环境坐标系下的位姿；第二对象位姿确定模块用于确定现实环境坐标系下第二对象的位姿；其中，第二对象为配置在现实环境下的虚拟对象；对象交互模块用于根据第一对象在现实环境坐标系下的位姿以及现实环境坐标系下第二对象的位姿，控制第一对象与第二对象进行交互。

可选地，终端位姿确定模块包括特征点提取单元、固定特征确定单元和终端姿态确定单元。

具体的，特征点提取单元用于从在现实场景下采集到的视频图像中提取特征点；固定特征确定单元用于在连续的视频帧中，对特征点进行跟踪，确定现实场景下的三维固定特征；终端姿态确定单元用于根据三维固定特征在视频帧中的位置变换信息以及终端设备的惯性信息，确定终端设备在现实环境坐标系下的位姿。