[发明专利]基于摄像头和话筒的多媒体人机交互方法

摘要

本发明方法利用摄像头拍摄到的用户头部活动影像进行处理，提取出头部运动矢量，根据该运动矢量对电脑显示形象进行控制，使其与用户头部同步动作；同时，通过话筒检测用户语音信号，用检测到的语音控制电脑显示形象的嘴部动作，达到更加逼真的效果。本发明成本低廉、使用方便、应用广泛，成本仅为动作捕捉系统的万分之一；应用本发明方法，基本不需要用户动手操作，就可自动实现电脑显示形象与用户的同步动作显示，可以将用户的双手和注意力解放出来；本发明可应用于即时通讯、远程教育、多媒体教学、“电子哈哈镜”、三维图形操控、卡通播音员/主持人、互动电子宠物、互动跳舞机器人、手机动漫秀、卡通广告片、摄像头/话筒套装捆绑软件等多种场合。

主权项

1、基于摄像头和话筒的多媒体人机交互方法，其特征是以摄像头和话筒为信号输入端，控制电脑显示形象的动作：摄像头对用户头部进行拍摄，得到头部视频帧序列，通过运动矢量估计对用户头部视频的帧序列进行处理，提取出头部运动矢量，对电脑显示形象的头部动作进行控制；话筒对用户的语音进行录制，得到语音信号，通过语音包络估计对语音信号进行处理，提取出语音信号的包络，对电脑显示形象的嘴部动作进行控制，最后通过动画合成将电脑显示形象的头部和嘴部的动作进行合成，生成与用户同步动作的形象。