[发明专利]交互方法、装置和计算机可读存储介质在审
申请号: | 201811329171.3 | 申请日: | 2018-11-08 |
公开(公告)号: | CN109521878A | 公开(公告)日: | 2019-03-26 |
发明(设计)人: | 许国军 | 申请(专利权)人: | 歌尔科技有限公司 |
主分类号: | G06F3/01 | 分类号: | G06F3/01;G16H40/67 |
代理公司: | 深圳市世纪恒程知识产权代理事务所 44287 | 代理人: | 胡海国 |
地址: | 266104 山东省青岛*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频信息 音频信息 计算机可读存储介质 肢体动作信息 表情信息 头部动作 摄像头 麦克风 交互装置 设备发送 设备建立 同步操作 沉浸感 互动 机器人 展示 交流 | ||
1.一种交互方法,其特征在于,所述交互方法包括以下步骤:
通过麦克风获取音频信息,并通过摄像头获取视频信息;
与VR设备建立连接;
将获取的所述音频信息和/或视频信息发送给所述VR设备,以使得VR设备根据所述视频信息和/或音频信息进行展示;
接收所述VR设备发送的使用者的头部动作信息、肢体动作信息和表情信息;
根据所述头部动作信息、肢体动作信息和表情信息进行对应的同步操作。
2.如权利要求1所述的交互方法,其特征在于,所述通过麦克风获取音频信息的步骤包括:
通过环形或者线形麦克风阵列收集声音信息;
利用预设的空域滤波算法对所述声音信息进行降噪处理,得到无噪音的声音信息;
确定所述无噪音的声音信息起始点和结束点,并对所述无噪音的声音信息进行检测过滤,得到音频信息。
3.如权利要求2所述的交互方法,其特征在于,所述通过摄像头获取视频信息的步骤包括:
利用预设的声源定位算法确定所述声音信息对应的声源在预设坐标系中所处的方位;
控制摄像头转动到所述声源所处的方位,并用左目和右目摄像头同时拍摄,得到左目视频帧和右目视频帧;
根据所述左目视频帧和右目视频帧获得所述视频信息。
4.如权利要求2所述的交互方法,其特征在于,所述将获取的所述音频信息和/或视频信息发送给所述VR设备,以使得VR设备根据视频信息和/或音频信息进行展示的步骤包括:
将获取的所述音频信息和/或视频信息发送给所述VR设备,以使得VR设备对视频信息进行解码,并将所述左目视频信息投射到用户的左眼睛,将所述右目视频信息投射到用户的右眼睛。
5.如权利要求1所述的交互方法,其特征在于,所述接收所述VR设备发送的使用者的头部动作信息、肢体动作信息和表情信息的步骤包括:
接收所述VR设备根据所述VR设备中眼动跟踪器、重力加速计和陀螺仪分别获得的眼部动作、头部动作幅度和转动方向转化的头部动作信息。
6.如权利要求1所述的交互方法,其特征在于,所述接收所述VR设备发送的使用者的头部动作信息、肢体动作信息和表情信息的步骤包括:
接收所述VR设备发送的根据体感器获得的使用者的肢体动作幅度、动作角度,并利用红外光流法转化为的相应的肢体动信息。
7.如权利要求1所述的交互方法,其特征在于,所述接收所述VR设备发送的使用者的头部动作信息、肢体动作信息和表情信息的步骤包括:
接收所述VR设备根据摄像头拍摄使用者的脸部图像获得的表情信息。
8.如权利要求1所述的交互方法,其特征在于,所述根据所述头部动作信息、肢体动作信息和表情信息进行对应的同步操作的步骤包括:
根据所述头部动作信息控制颈部进行上下左右转动;
根据所述肢体动作信息控制手臂上下左右的摆动和身体躯干进行上下左右转动;
根据所述表情信息控制眉毛上下摆动,眼珠上下左右转动,嘴巴进行上下转动。
9.如权利要求1所述的交互方法,其特征在于,所述与VR设备建立连接的步骤之前还包括:
根据获取的音频信息和/或视频信息判断是否满足预设条件;
若是,则执行步骤:与VR设备建立连接;
若否,则对所述音频信息和/或视频信息进行识别,并根据识别结果进行处理。
10.如权利要求9所述的交互方法,其特征在于,所述根据获取的音频信息和/或视频信息判断是否满足预设条件的步骤包括:
对所述音频信息和/或视频信息与预设的数据库进行对比进行检验,判断是否存在危险画面。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于歌尔科技有限公司,未经歌尔科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811329171.3/1.html,转载请声明来源钻瓜专利网。