[发明专利]一种家用信息采集和用户情感识别设备及其工作方法

摘要

本发明公开了一种家用信息采集和用户情感识别设备，包括外壳、电源、主控制器、微控制器、多个环境传感器、显示屏、麦克风、音响、多个健康传感器、一对机器人手臂、以及一对摄像头，麦克风设置于外壳上，电源、主控制器、微控制器、环境传感器、音响、一对摄像头分别相对于显示屏左右两侧对称设置，一对机器人手臂设置于外壳两侧，主控制器与微控制器通信连接，用于控制微控制器通过机器人手臂的电机控制机器人手臂的活动，电源与主控制器、微控制器相连接，用于为主控制器、微控制器提供能量。本发明通过整合智能语音识别技术、语音合成技术、面部表情识别技术，使家用信息采集和用户情感识别设备的使用更为便利、反馈更为合理。

主权项

一种家用信息采集和用户情感识别设备，包括外壳、电源、主控制器、微控制器、多个环境传感器、显示屏、麦克风、音响、多个健康传感器、一对机器人手臂、以及一对摄像头，其特征在于，麦克风设置于外壳上，电源、主控制器、微控制器、环境传感器、音响、一对摄像头分别相对于显示屏左右两侧对称设置，一对机器人手臂设置于外壳两侧；主控制器与微控制器通信连接，用于控制微控制器通过机器人手臂的电机控制机器人手臂的活动；电源与主控制器、微控制器相连接，用于为主控制器、微控制器提供能量；主控制器用于控制微控制器通过环境传感器、健康传感器采集环境信息和/或用户的健康信息，对采集到的环境信息和/或用户的健康信息进行结构化预处理，并将结构化预处理后的信息传送到云平台；摄像头与主控制器通信连接，用于依据人眼成像的原理采集用户的头像信息，并将该头像信息传送到主控制器；主控制器用于对摄像头采集的头像信息进行处理，以得到深度信息以及用户的彩色图像，对采集到的深度信息和彩色图像进行去冗余处理，以准确地识别出用户的面部状态，并将用户的面部状态与主控制器中存储的表情库进行匹配，以确定用户的表情信息；主控制器还用于根据用户的表情信息控制显示器和音响执行对应的操作；麦克风与主控制器通信连接，用于采集用户的声音信息，并将该声音信息传送到主控制器。主控制器用于将该声音信息识别为文字，对文字进行关键字提取，在该提取的关键字是采集健康信息的指令时控制显示器显示与该关键字对应的提示信息，以告知用户使用健康传感器执行相应的采集健康信息操作，并在采集结束后显示采集到的结果，在该提取的关键字不是采集健康信息的指令时根据提取的关键字从远端的云平台获取对应的内容，并控制显示器将该内容显示给用户。