[发明专利]一种可触摸现场实时视频图像的远程呈现交互方法和系统

摘要

本发明提出的一种可触摸现场实时视频图像的远程呈现交互方法和系统，属于人机交互技术领域。包括一种可触摸现场实时视频图像的远程呈现交互方法(简称本方法)和一种可触摸现场实时视频图像的远程呈现交互系统，简称本系统；本系统由包括远程呈现机器人和远程可交互装置的本地空间和包括用户、带有触摸屏的计算装置和TIUI的远程空间组成。远程呈现机器人作为用户化身，在本地空间中移动，并获取本地空间的现场实时视频图像；无线网络将视频图像传送到远程空间；远程空间中的用户通过掌上电脑触摸屏上的TIUI，使用触摸点击及拖拽操作，完成与远程可交互装置的远程呈现交互。本发明增强了用户体验，提高了交互效率。

主权项

1.一种可触摸现场实时视频图像的远程呈现交互方法，其特征在于：包含一种可触摸现场实时视频图像的远程呈现交互系统；其中，所述系统包括本地空间和远程空间；本地空间中包含远程呈现机器人和远程可交互装置；远程空间中包括用户、带有触摸屏的计算装置和TIUI；其中，带有触摸屏的计算装置为掌上电脑和智能手机；本地空间和远程空间通过无线网络连接；其中，TIUI是一种基于可触摸现场实时视频图像的用户界面，用于触摸带有触摸屏的计算装置；计算装置包括远程空间无线通信网络模块；远程可交互装置和智能家居的主要区别是前者每一个装置是完全独立的，由远程直接控制，远程可交互装置的识别主要通过计算机视觉方法和条形码标签方法实现；后者装置需要事先固定，并连接到本地中央控制单元，由本地控制单元接收远程控制；远程呈现机器人由计算机、移动底座和机器人头部组成；其中，机器人头部包括呈现用户的显示屏、前视摄像头、俯视广角摄像头、扬声器、麦克风、云台和升降杆；远程可交互装置包括标识、驱动器和本地空间无线通信网络模块；其中，标识是指独一无二的特征，用计算机视觉的方法和二维条形码标签来识别；计算机视觉技术在识别外观相同的两个装置时，还要识别装置所处的位置，以区分这两个装置，或用定位技术获取装置的位置参数；驱动器是指电机、继电器；本地空间无线通信网络模块为WIFI模块，是实现远程可交互装置与互联网连接的重要工具；远程可交互装置的功能是实现远程交互；其中，标识的功能是用于区分两个装置；驱动器的功能是实现自动控制；无线通信网络的功能是实现远程可交互装置与互联网连接；远程呈现机器人中的升降杆的功能是使远程呈现机器人根据不用的应用场景调节头部高度；云台的功能是使远程呈现机器人左右和上下运动头部，更便捷地获取现场实时视频图像；该方法包括如下步骤：步骤一、远程呈现机器人利用计算机视觉的方法，直接识别远程可交互装置或通过远程可交互装置的二维码标签识别该装置；步骤二、远程呈现机器人在本地空间中移动来获取本地空间的现场实时视频图像；步骤三、计算机将两个摄像头采集的视频图像实时拼接，形成的拼接视频图像作为现场实时视频图像，通过本地空间无线通信网络模块传输给远程空间的TIUI；步骤四、用户在TIUI上触摸步骤三输出的拼接视频图像，实现与本地空间中的远程可交互装置的交互及控制远程呈现机器人在本地空间的运动；至此，从步骤一到步骤四，完成了一种可触摸现场实时视频图像的远程呈现交互方法；其中，步骤一，具体为：步骤1.1远程呈现机器人利用计算机视觉的方法直接识别远程可交互装置，并根据是否识别了远程可交互装置，决定是否进行步骤1.2的操作，若已经识别，直接跳到步骤二；若未识别，跳至步骤1.2；其中，通过计算机视觉的方法识别远程可交互装置通常是通过提取图像特征进行识别；步骤1.2当通过计算机视觉的方法无法准确识别远程可交互装置时，使用二维码作为远程可交互装置的标识进行识别；其中，二维码包含了装置名称、装置位置、连接接口、操作指令为主的信息；其中，步骤四，具体为：4.1用户触摸拼接视频图像的上部分，完成用户与远程可交互装置的交互任务，也能控制云台转动，转动前视摄像头获取左右上下方位的图像，能控制升降杆上下运动，调整机器人高度；4.2用户触摸拼接视频图像的下部分，完成远程呈现机器人的运动，对导航路径、障碍物、安全区域、目的地为主的信息进行标记；其中，为了便于用户区分和使用方便，针对4.1和4.2的不同操作定义了单手指触摸手势和双手指触摸手势两类触摸手势；其中，单手指触摸手势用于操作远程可交互装置，具体用于标记地面导航路径和障碍物；具体为：当步骤一中识别远程可交互装置采用步骤1.2，即二维码识别时，用户在TIUI上用单手指触摸远程可交互装置的二维码图像，本系统自动识别二维码，并自动跟踪移动中的二维码，建立TIUI上远程可交互装置的图像与实际远程可交互装置的对应关系，然后用户通过TIUI直接触摸远程可交互装置的控制面板图像，如同触摸真实装置的控制面板，触摸一个远程可交互装置的图像，就是通过无线网络向该装置的驱动器发送对应的控制指令，使该装置完成相应动作，实现通过TIUI的远程呈现交互；根据单手指触摸手势及手势所在的TIUI上下部区域，将手势分为四个模式：1)单手指上部模式：单手指触摸手势作用于TIUI的上部图像区域中，用于操作本地空间中的远程可交互装置；2)双手指上部模式：双手指触摸手势作用于TIUI的上部图像区域中，用于控制云台上下左右运动，控制升降杆的升降运动；3)单手指下部模式：单手指触摸手势作用于TIUI的下部图像区域中，用于标记机器人的运动轨迹和地面上的障碍物；4)双手指下部模式：双手指触摸手势作用于TIUI的下部图像区域中，用于远程控制机器人的运动；双手指触摸手势用于操作远程呈现机器人的自身运动，包括机器人底座前后和左右运动，机器人头部前视和俯视摄像机左右上下运动，升降杆的升降运动。