[发明专利]一种基于三维人脸情绪识别的灯光音乐控制系统及控制方法

说明书

本发明公开了一种基于三维人脸情绪识别的灯光和音乐控制系统及控制方法，属于自动控制领域，该系统包括面部表情图像采集模块、电脑、无线WIFI模块、上位机软件系统、LED灯模块、MP3音乐播放器模块、STM单片机模块，本系统可完成三维情绪识别工作并实现根据情绪不同对灯光音乐结合变换的自动控制工作，实现灯光音乐对情绪的反调节功能，本发明提出的基于三维人脸情绪识别的灯光和音乐控制系统及控制方法可帮助用户改善不良情绪，起到减缓压力，放松心情的作用。

技术领域

本发明涉及三维人脸情绪识别的控制方法，尤其是基于灯光音乐的控制方法，属于自动控制领域。

背景技术

情绪识别技术，是一种判断人的情绪变化的技术，主要是通过收集人的外在表情和行为变化，对人的心理状态进行推断。在现代社会，情绪识别技术以及被广泛应用于智能设备开发、健康管理、广告营销等方面。

现有的情绪识别技术科研成果大多基于二维静态图像或二维图像序列进行分析与研究。其通过获取用户提供的图像提取用户表征的情绪特征信息，根据提供的二维平面信息进行情绪识别。此种利用二维图像识别情绪的方法获取信息受光照、人脸姿态的变化影响很大，这是二维图像的固有属性决定的。例如在光照强度较大的室外环境对于人脸信息提取工作会产生很大障碍，这样在很大程度上限制了产品的使用条件，产品抗外界干扰能力差。又例如对于人脸姿态不一样的情况，二维人脸情绪识别系统只能获取平面信息，所以人脸面对摄像头的角度问题往往不能忽视。因此传统的二维系统的自身灵活性能较差。三维情绪识别系统在识别平面二维图像的基础上增加深度图像数据，大大增强了产品的使用灵活性以及抗干扰性。

在现有的研究中，研究音乐对人情绪影响的科研较多，但灯光环境的影响的研究较少。将音乐与灯光结合对人情绪影响，且将研究方案运用到实际生活的研究基本空白。

发明内容

为克服现有技术的缺陷，本发明结合三维人脸识别系统与灯光音乐自动控制方法，能够实现在不同条件下准确识别出用户情绪并自动控制音乐与灯光的组合变换，使用户情绪恢复到较为平和稳定的状态。为实现上述目的，本发明采用以下技术方案：

(1)一种基于三维人脸情绪识别的灯光和音乐控制系统及控制方法，基于三维人脸情绪识别的灯光和音乐控制系统包括面部表情图像采集模块、电脑、面部表情图像采集模块USB 连接线、无线WIFI模块、上位机软件系统、LED灯模块、LED灯电源模块、MP3音乐播放器模块、MP3音乐播放器电源模块、STM单片机模块、单片机电源模块，且面部表情图像采集模块通过面部表情图像采集模块USB连接线与电脑相连，电脑安装上位机软件系统，电脑通过无线网络与无线模块相连，STM单片机模块通过连接线分别与LED灯模块、MP3音乐播放器模块、单片机电源模块相连，LED灯模块与LED灯电源模块相连，MP3音乐播放器模块与MP3音乐播放器电源模块相连，LED灯模块包含红色LED、绿色LED、蓝色LED，面部表情图像采集模块包含深度图像传感器、彩色图像传感器、红外人体检测传感器。

(2)三维人脸识别技术的情绪识别方法按照以下步骤进行：

a、面部表情图像采集模块以彩色图像传感器采集W1×D1分辨率的彩色二维图像，以深度图像传感器采集W2×D2分辨率的深度二维图像，调用MATLAB的imresize函数对深度二维图像进行尺寸变换，具体命令为B＝imresize(A，m，’linear’)，其中，A为深度二维图像，B表示尺寸变换后的深度二维图像，m＝[W1/W2，D1/D2]，linear表示线性插值，变换后的深度二维图像和彩色二维图像具有相同的尺寸和分辨率；

b、利用加权平均法对彩色二维图像进行灰度处理，其中R、G、B分别为彩色二维图像的红、绿、蓝三个分量，x和y为像素的行、列坐标，f为灰度处理后的二维图像，具体灰度处理公式如下：

f(x，y)＝0.30R(x，y)+0.59G(x，y)+0.11B(x，y)