[发明专利]基于摄像头和话筒的多媒体人机交互方法

权利要求书

1.基于摄像头和话筒的多媒体人机交互方法，其特征是以摄像头和话筒为信号输入端，控制电脑显示形象的动作：摄像头对用户头部进行拍摄，得到头部视频帧序列，通过运动矢量估计对用户头部视频的帧序列进行处理，提取出头部运动矢量，对电脑显示形象的头部动作进行控制；话筒对用户的语音进行录制，得到语音信号，通过语音包络估计对语音信号进行处理，提取出语音信号的包络，对电脑显示形象的嘴部动作进行控制，最后通过动画合成将电脑显示形象的头部和嘴部的动作进行合成，生成与用户同步动作的形象；

通过运动矢量估计提取头部运动矢量，对电脑显示形象的头部动作进行控制的步骤为：

A.将摄像头获取的彩色图像利用亮度公式Y＝0.299R+0.587G+0.114B转换为灰度图像，设摄像头获取的视频序列格式为A×B像素，按m×m像素的宏块分割每帧图像，则每帧图像有(A/m)×(B/m)个宏块，对第k帧图像中的一个宏块，在第k+1帧图像的(m+2dx_max)×(m+2dy_max)范围内搜索与之最匹配的宏块，dx_max和dy_max为预先设置的宏块在水平和垂直方向上的最大位移量，匹配好坏的衡量采用绝对差均值最小准则、均方误差最小准则或归一化互相关函数最大准则；

B.将第k帧图像中第i行j列的宏块记为M_k(i，j)，1≤i≤B/m，1≤j≤A/m，设第k+1帧图像中与M_k(i，j)最匹配的宏块相对于M_k(i，j)在水平和垂直方向上的位移量分别为dx_k(i，j)和dy_k(i，j)，则从第k帧图像到第k+1帧图像的头部运动矢量为(dx_k，dy_k)：

dxk=m2ABΣi=1B/mΣj=1A/mdxk(i,j),]]>dyk=m2ABΣi=1B/mΣj=1A/mdyk(i,j);]]>

C.对电脑显示形象的头部动作指令进行判断：设定头部运动判断阈值δ，由当前帧相对于前一帧的头部运动矢量确定用户不动、向左、向右、低头、抬头5个头部动作指令：

①|dx_k|＜δ且|dy_k|＜δ，判定用户头部动作指令为不动；

②|dx_k|≥δ且|dx_k|≥|dy_k|，判定用户头部动作指令为向左或向右；

③|dx_k|≥δ且|dx_k|＜|dy_k|，或|dx_k|＜δ且|dy_k|≥δ，判定用户头部动作指令为低头或抬头；

D.根据动作指令对电脑显示形象的头部动作进行控制：头部状态包括标准、向左、向右、低头和抬头状态，初始为标准状态，根据收到的动作指令控制头部状态的变化；在某状态下，若收到不动指令，则保持该状态；在除标准状态的其它状态下，若收到同名指令，亦保持该状态，若收到相反指令，则回到标准状态；在其他情况下，将头部状态转向与收到指令同名状态，实现电脑显示形象的头部与用户头部同步运动。