[发明专利]结合视频通道的智能家居语音控制系统及其控制方法

说明书

技术领域

本发明涉及视频语音识别技术，尤其涉及结合视频通道的智能家居语音控制系统及其控制方法。

背景技术

目前，大部分复杂的家电都是通过遥控器的键盘输入方式进行遥控的，随着家居的智能化以及包含内容的多样化，为了优化操作方式、增强操作的舒适性，用户需要更加易于操作的遥控器。语言是人类最直接最方便的交流和表达方式，如果采用语音识别技术，可以将原来的被动静止结构转变为具有主动识别语音执行的智慧工具，从而满足人们日益增长的需求。

近年来，语音识别技术发展十分迅速，目前已出现了许多自动语音识别类的产品，例如IBM开发的ViaVoice语音系统等。但是这些系统仍然缺乏较强的抗干扰能力，原因是它只能单一地从语音信道中获取信息，当这些系统应用到真实环境中时，一旦有背景噪声或多人交叉说话，它们的性能将大大下降，并且这样的应用环境十分常见，如：办公室、汽车、工厂或机场等，就连家庭环境也是如此。

发明内容

为解决现有技术存在的缺点和不足，本发明提供结合视频通道的智能家居语音控制系统及其控制方法，相比现有技术所采用的控制方式，本发明抗干扰能力强，能够克服家庭环境中由于噪音干扰所带来的无法识别的技术问题。

本发明的目的通过下述技术方案实现：

结合视频通道的智能家居语音控制系统，包括依次连接的手势检测模块、人脸检测模块、识别系统模块、指令判断模块、指令显示与确认模块。

所述识别系统模块包括唇语部分和语音部分，所述唇语部分包括依次连接的人脸跟踪定位模块、唇语视频输入模块、唇语识别模块；所述语音部分包括依次连接的语音输入模块、语音识别模块。

结合视频通道的智能家居语音控制系统的识别方法，可通过如下步骤实现：

(1)手势检测

手势检测模块采用haar小波变换，以及LBP特征提取，选取Adaboost分类器对固定手势进行检测，判断用户是否获得控制权；

(2)人脸检测

人脸检测模块采用haar小波变换，选取Adaboost分类器对人脸进行检测，判断操作空间内是否有人，如果检测到人脸，则同时开启识别系统模块的唇语和语音两部分；

(3)人脸跟踪与定位

人脸跟踪与定位模块结合人脸检测模块输出的参数，按照人脸的大小以及位置，调整摄像头焦距和光轴，使人脸图像足够清晰，同时控制人脸处于图像中央位置，使人脸至少占图像的三分之二面积以上；

(4)唇语视频输入

唇语视频输入模块将从人脸中提取出嘴唇部分，实现嘴唇的分割与模型建立，获得嘴唇运动序列；

(5)唇语识别

唇语识别模块将相应的嘴唇运动序列翻译成为一定语义的指令，其中包括唇部特征提取和模式识别；

(6)语音输入

语音输入模块通过语音接收设备，接收音频输入，系统采用麦克风将语音输入给计算机，声卡以一定频率机型数据采样，然后进行A/D转换；为减少不利影响，此模块将对输入的语音信号进行高频补偿。

(7)语音识别

语音识别模块将检测到的语音数据，翻译成对应的语义指令，包括语音特征提取和语音识别。

(8)指令判断

指令判断模块将语音识别模块的输出结果和唇语识别模块的输出结果进行匹配，通过概率分析，判断该指令是否有效，

指令集为C＝[c₁，c₂，...c_n]

唇语识别模块输出各指令概率为P＝[p₁，p₂，...p_n]，

语音识别模块输出各指令概率为Q＝[q₁，q₂，...q_n]，

则认为唇语和语音结合判断的指令概率D＝[d₁，d₂，...d_n]，其中