[发明专利]结合视频通道的智能家居语音控制系统及其控制方法

权利要求书

1.结合视频通道的智能家居语音控制系统，其特征在于：包括依次连接的手势检测模块、人脸检测模块、识别系统模块、指令判断模块、指令显示与确认模块。

2.根据权利要求1所述的结合视频通道的智能家居语音控制系统，其特征在于：所述识别系统模块包括唇语部分和语音部分，所述唇语部分包括依次连接的人脸跟踪定位模块、唇语视频输入模块、唇语识别模块；所述语音部分包括依次连接的语音输入模块、语音识别模块。

3.结合视频通道的智能家居语音控制系统的识别方法，其特征在于如下步骤：

(1)手势检测

手势检测模块采用haar小波变换，以及LBP特征提取，选取Adaboost分类器对固定手势进行检测，判断用户是否获得控制权；

(2)人脸检测

人脸检测模块采用haar小波变换，选取Adaboost分类器对人脸进行检测，判断操作空间内是否有人，如果检测到人脸，则同时开启识别系统模块的唇语和语音两部分；

(3)人脸跟踪与定位

人脸跟踪与定位模块结合人脸检测模块输出的参数，按照人脸的大小以及位置，调整摄像头焦距和光轴，使人脸图像足够清晰，同时控制人脸处于图像中央位置，使人脸至少占图像的三分之二面积以上；

(4)唇语视频输入

唇语视频输入模块将从人脸中提取出嘴唇部分，实现嘴唇的分割与模型建立，获得嘴唇运动序列；

(5)唇语识别

唇语识别模块将相应的嘴唇运动序列翻译成为一定语义的指令，其中包括唇部特征提取和模式识别；

(6)语音输入

语音输入模块通过语音接收设备，接收音频输入，系统采用麦克风将语音输入给计算机，声卡以一定频率机型数据采样，然后进行A/D转换；为减少不利影响，此模块将对输入的语音信号进行高频补偿。

(7)语音识别 

语音识别模块将检测到的语音数据，翻译成对应的语义指令，包括语音特征提取和语音识别。

(8)指令判断

指令判断模块将语音识别模块的输出结果和唇语识别模块的输出结果进行匹配，通过概率分析，判断该指令是否有效，

指令集为C＝[c₁，c₂，...c_n ]

唇语识别模块输出各指令概率为P＝[p₁，p₂，...p_n]，

语音识别模块输出各指令概率为Q＝[q₁，q₂，...q_n ]，

则认为唇语和语音结合判断的指令概率D＝[d₁，d₂，...d_n]，其中

1≤i≤n

挑选最大概率d_imax，若d_imax大于阈值，则选择d_imax对应的指令c_i作为输出指令；若d_imax小于阈值，则认为该指令是无效指令，系统将返回至人脸检测模块重新开始。

(9)指令显示与确认

指令显示与确认模块将显示判断后的最终指令，供用户确认，确认方法仍为手势控制。

4.根据权利要求3所述结合视频通道的智能家居语音控制系统的识别方法，其特征在于，所述步骤(4)唇语视频输入具体如下：

(1)嘴唇分割使用改善的FCMS算法，将图像的颜色信息与空间信息结合起来，再把嘴唇的形状信息嵌入到聚类算法中的相似性判别函数中，实现嘴唇的有效分割；

(2)在嘴唇模型建立方法上，采用14点主动形状模型。在ASM中将外形相似的嘴唇轮廓通过14个关键的特征点的坐标串接成原始的形状向量。