[发明专利]基于摄像头和话筒的多媒体人机交互方法

说明书

技术领域

本发明属于人机交互技术领域，为一种基于摄像头和话筒的人机交互方法，利用摄像头和话筒获取用户控制信息，控制电脑显示形象做出相应动作。

背景技术

人机交互技术(Human-Computer Interaction Techniques)是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术，多媒体人机交互是基于视线跟踪、语音识别、手势输入、感觉反馈等新的交互技术。随着科技发展，理想的人机交互提出以人的日常技能就可进行，不需要特别的训练的观点，并向此方向发展。

如在QQ 2006即时通讯软件中，新增了3D动漫秀功能，聊天者可以选择自己的动漫形象，通过鼠标操控，使其活动。该技术的人机交互是通过键盘、鼠标等传统方式进行的，卡通形象不能随聊天者的动作而同步运动，操控上需要用户逐一在菜单中点选相应的选项，也比较繁琐。

在目前的3D动画创作中，已经采用了动作捕捉系统(Motion Capture System)，可以实时地捕捉人体的运动，对3D建模形象的动作进行控制，其工作时需要在真人的身体上固定数十至数百个红外线标记物，还要用多部红外线摄像机从不同的角度进行拍摄，这样一套系统的售价至少80余万元，无法推广到大众应用。

发明内容

本发明要解决的技术问题是：目前用户对电脑显示形象的动作控制繁琐，达到同步动作显示的成本高；针对人机交互的发展方向，提出一种方便快捷、应用广泛、成本低廉的多媒体人机交互方法。

本发明的技术方案是：基于摄像头和话筒的多媒体人机交互方法，以摄像头和话筒为信号输入端，控制电脑显示形象的动作：摄像头对用户头部进行拍摄，得到头部视频帧序列，通过运动矢量估计对用户头部视频的帧序列进行处理，提取出头部运动矢量，对电脑显示形象的头部动作进行控制；话筒对用户的语音进行录制，得到语音信号，通过语音包络估计对语音信号进行处理，提取出语音信号的包络，对电脑显示形象的嘴部动作进行控制，最后通过动画合成将电脑显示形象的头部和嘴部的动作进行合成，生成与用户同步动作的形象。

本发明通过运动矢量估计提取头部运动矢量，对电脑显示形象的头部动作进行控制的步骤为：

A.将摄像头获取的彩色图像利用亮度公式Y＝0.299R+0.587G+0.114B转换为灰度图像，设摄像头获取的视频序列格式为A×B像素，按m×m像素的宏块分割每帧图像，则每帧图像有(A/m)×(B/m)个宏块，对第k帧图像中的一个宏块，在第k+1帧图像的(m+2dx_max)×(m+2dy_max)范围内搜索与之最匹配的宏块，dx_max和dy_max为预先设置的宏块在水平和垂直方向上的最大位移量，匹配好坏的衡量可以采用绝对差均值最小准则、均方误差最小准则或归一化互相关函数最大准则；

B.将第k帧图像中第i行j列的宏块记为M_k(i，j)，1≤i≤B/m，1≤j≤A/m，设第k+1帧图像中与M_k(i，j)最匹配的宏块相对于M_k(i，j)在水平和垂直方向上的位移量分别为dx_k(i，j)和dy_k(i，j)，则从第k帧图像到第k+1帧图像的头部运动矢量为(dx_k，dy_k)：