[发明专利]一种基于音频和视频的智能家居自然交互系统

权利要求书

1.一种基于音频和视频的智能家居自然交互系统，其特征在于，包括前端、中央处理单元、后端、以及云端四部分；

其中前端包括：

麦克风系统（111），为麦克风整列，用于实时采集并发送声音信息；

摄像头系统（121），为红外深度摄像头和普通摄像头，用于实时采集并发送图像信息；

第三方传感器接口（131），用于实施采集其它可能的信息并发送该信息；

反馈显示模块（14），用于响应及显示对指令信息做出的反应；

其中央处理单元包括：

音频信号处理和信息提取模块（112），用于处理语音信号，并提取其中的说话人、语义等信息；

视频信号处理和信息提取模块（122），用于处理图像信号，并提取其中的手势、人脸、运动信息；

第三方信号处理和信息提取接口模块（132），用于处理第三方传感器收集的信号，并提取相关信息；

信息融合模块（15），用于融合上述模块（112、122和132）收集的信息，生成最终的指令；

其后端包括：

室内控制信号发射模块（16），用于将具体的指令转换成具体可以发射的无线信号，来控制家电；

与云端服务器通信模块（17），用于将具体的指令转换成具体的网络操作，来获取和交换英特网络上的信息；

其云端包括：

云端服务器（18），用于为用户提供必要的计算资源、存储资源、网络资源和通信管道。

2.根据权利要求1所述的智能家居自然交互系统，其特征在于，其音频信号处理和信息提取模块（112）还包括除噪、除回音、声源分离等信号预处理模块，和说话人识别模块、语音唤醒模块、基于深度学习的语音识别模块和自然语言理解模块。

3.根据权利要求1所述的智能家居自然交互系统，其特征在于，其视频信号处理和信息提取模块（122）还包括手势识别、人脸检测与识别、运动检测等模块。

4.根据权利要求1所述的智能家居自然交互系统及权利要求3和4所述的音频视频信号处理和信息提取模块，其特征在于，

如果室内环境不适合音频系统，视频系统可以独立完成指令识别及执行工作；

如果室内环境不适合视频系统，音频系统可以独立完成指令识别及执行工作；

如果室内环境正常，音视频系统可以相互补充信息，协同工作；

当指令预测概率低于预定值或者出预测出现冲突时，反馈信息将响应和显示到所述反馈显示模块。

5.根据权利要求1所述的智能家居自然交互系统及权利要求3和4所述的音频视频信号处理和信息提取模块，其特征在于，能根据声源定位模块、人体检测及人脸检测来实时定位用户，实时调整所述系统的方位。

6.根据权利要求1所述的智能家居自然交互系统及权利要求3和4所述的音频视频信号处理和信息提取模块，其特征在于，能根据说话人识别模块和人脸识别模块判断用户对所述系统的访问权限。

7.根据权利要求1所述的智能家居自然交互系统，其特征在于，所述的第三方传感器接口（131）及第三方信号处理和信息提取模块（132）用于扩展系统未来可能的功能。

8.根据权利要求1所述的智能家居自然交互系统，其特征在于，所述的室内控制信号发射模块集（16）成了红外、RF射频、蓝牙、wifi、Zigbee、Z-Wave等无线通信方式；

室内控制信号发射模块（16）根据不同的家用电器，来选择特定的无线通信和编码方式；同时针对不常见的家用电器品牌，所述模块可以学习其无线通信编码。

9.根据权利要求1所述的智能家居自然交互系统，其特征在于，可以根据用户的选择是否接入云端服务器（18）；

如果未接入云端服务器，所述的信号处理和信息提取模块（112、122和132）可以在本地处理；如果接入云端服务器，所述的信号处理和信息提取模块（112、122和132）的全部或者部分计算资源可以交由云端服务器处理。

10.根据权利要求1所述的智能家居交互系统和权利要求9所述的云端服务器，其特征在于，

如果所述的中央处理单元接入云端服务器，用户指令可能通过所述云端服务器还可以获取相应的存储资源、信息资源；用户也可以通过手机等终端连接云端服务器来控制和监测室内情况。