[发明专利]一种基于音频和视频的智能家居自然交互系统

摘要

本发明公开了一种结合音频和视频传感器的智能家居交互系统，主要包括前端、中央处理单元、后端和云端四部分。所述前端包括麦克风和摄像头系统、第三方传感器接口、和反馈模块。其用于收集声音和图像信号等信息，及显示系统反馈。所述中央处理单元包括音频、视频、第三方的信号处理、信息提取和信息融合模块。其用于对收集到的声音和视觉等信号进行处理，利用机器学习的方法获取有用指令信息。所述后端包括室内控制信号发射模块和云端服务器通信模块。其用于将获取的指令转为可发射信号；同时为系统提供通信通道。所述云端为云端服务器，提供计算、存储、通信资源等。该系统具有高度自然的人机交互特性，大大提高了控制家电和获取信息的便捷性。

主权项

一种基于音频和视频的智能家居自然交互系统，其特征在于，包括前端、中央处理单元、后端、以及云端四部分；其中前端包括：麦克风系统（111），为麦克风整列，用于实时采集并发送声音信息；摄像头系统（121），为红外深度摄像头和普通摄像头，用于实时采集并发送图像信息；第三方传感器接口（131），用于实施采集其它可能的信息并发送该信息；反馈显示模块（14），用于响应及显示对指令信息做出的反应；其中央处理单元包括：音频信号处理和信息提取模块（112），用于处理语音信号，并提取其中的说话人、语义等信息；视频信号处理和信息提取模块（122），用于处理图像信号，并提取其中的手势、人脸、运动信息；第三方信号处理和信息提取接口模块（132），用于处理第三方传感器收集的信号，并提取相关信息；信息融合模块（15），用于融合上述模块（112、122和132）收集的信息，生成最终的指令；其后端包括：室内控制信号发射模块（16），用于将具体的指令转换成具体可以发射的无线信号，来控制家电；与云端服务器通信模块（17），用于将具体的指令转换成具体的网络操作，来获取和交换英特网络上的信息；其云端包括：云端服务器（18），用于为用户提供必要的计算资源、存储资源、网络资源和通信管道。