[发明专利]一种基于三维人脸情绪识别的灯光音乐控制系统及控制方法

权利要求书

1.一种基于三维人脸情绪识别的灯光和音乐控制系统及控制方法，基于三维人脸情绪识别的灯光和音乐控制系统，其特征为，包括面部表情图像采集模块、电脑、面部表情图像采集模块USB连接线、无线WIFI模块、上位机软件系统、LED灯模块、LED灯电源模块、MP3音乐播放器模块、MP3音乐播放器电源模块、STM单片机模块、单片机电源模块，且面部表情图像采集模块通过面部表情图像采集模块USB连接线与电脑相连，电脑安装上位机软件系统，电脑通过无线网络与无线模块相连，STM单片机模块通过连接线分别与LED灯模块、MP3音乐播放器模块、单片机电源模块相连，LED灯模块与LED灯电源模块相连，MP3音乐播放器模块与MP3音乐播放器电源模块相连，LED灯模块包含红色LED、绿色LED、蓝色LED，面部表情图像采集模块包含深度图像传感器、彩色图像传感器、红外人体检测传感器。

2.一种基于三维人脸情绪识别的灯光和音乐控制方法，其基于三维人脸识别技术的情绪识别方法按照以下步骤进行：

a、面部表情图像采集模块以彩色图像传感器采集W1×D1分辨率的彩色二维图像，以深度图像传感器采集W2×D2分辨率的深度二维图像，调用MATLAB的imresize函数对深度二维图像进行尺寸变换，具体命令为B＝imresize(A，m，’linear’)，其中，A为深度二维图像，B表示尺寸变换后的深度二维图像，m＝[W1/W2，D1/D2]，linear表示线性插值，变换后的深度二维图像和彩色二维图像具有相同的尺寸和分辨率；

b、利用加权平均法对彩色二维图像进行灰度处理，其中R、G、B分别为彩色二维图像的红、绿、蓝三个分量，x和y为像素的行、列坐标，f为灰度处理后的二维图像，具体灰度处理公式如下：

f(x，y)＝0.30R(x，y)+0.59G(x，y)+0.11B(x，y)

c、将得到的灰度化的彩色图像与深度二维图像生成(x，y，z)三维矩阵，生成G(x，y，z)三维图像，其中z为深度，利用KPCA算法对面部特征进行提取，具体实现步骤如下：

(1)从一个人脸三维面部图像样本中获得的N个三维数据点，作为非线性输入数据集合：

S＝{G₁，G₂…，G_N}映射到高维空间得到线性样本集合：φ(x)＝{φ(x₁)，φ(x₂)…，φ(x_N)}；

(2)利用φ(x)计算核矩阵i，j＝1，2，...l；

(3)将核矩阵中心化，即用替代K，j是全为1的向量；

(4)计算核矩阵的特征值(λ)和特征向量(v)：[λ，v]＝eig(K)；

(5)将特征向量v正交化：a₁＝v₁，单位化：i＝1，2…，l；

(6)数据重建i＝1，2，…l；

(7)输出变化后的数据集

得到的投影为经过KPCA算法降维，最终获得的人脸特征数据，形成特征脸；

d、对人脸特征点的处理对比工作按以下步骤进行：

(1)对嘴巴和眼睛局部区域的特征点进行距离特征D_i的提取，以计算眼睛的张开度d₁、眉毛的高度d₂、嘴巴的张开度d₃、嘴巴的宽度d₄、嘴巴的拉伸度d₅、下巴的延展度d₆，用于表征人脸表情信息，可用以下公式进行距离特征向量的提取：

(2)对距离特征向量进行斜率-夹角特征向量的提取，设两条特征向量l₁与l₂，的方向向量分别为和则l₁与l₂之间夹角特征A_i为：设空间R中任一点A＝(x_a，y_a，z_a)与点B＝(x_b，y_b，z_b)之间的连线为l，则该直线对应的方向向量为：

B＝(x_a，y_a，z_a)-(x_b，y_b，z_b)，通过上式可求得眼睛、嘴巴相关的斜率和眼睛、嘴巴相关的夹角，对任意一斜率S_i＝(S_ix，S_iy，S_iz)有：

(3)将两类特征进行融合，令距离特征D_i分别与夹角特征A_i、斜率特征S_i串行拼接，定义如下：

距离与夹角的特征融合：F_i＝(D_i，A_i)i＝1，2，…，N

距离与斜率的特征融合：F_i＝(D_i，S_i)i＝1，2，…，N

面部运动编码系统FACS算法将人脸分为44个运动单元，将两类特征融合的参数结合分析得出44个运动单元的运动情况来抽取表情特征，并将各单元表情特征进行组合分析得出用户表情；

e、使用模型，以jaffe人脸表情库作为训练集，调用f(x)＝sgn(w×X_i+b^*)作为判别函数，采用K-fold Cross Validation方法进行交叉验证，对特征空间进行线性分类，实现面部表情识别，其中将面部识别表情分为开心、兴奋、满足、镇静、生气、恐惧、悲伤七种，并根据上述七种表情分为三种心情，即积极情绪、正常情绪、消极情绪，其中，当面部表情为开心和兴奋时为积极信号，当面部表情为满足和镇静时为正常信号，当面部表情为生气、恐惧和悲伤时为消极信号。

3.根据权利要求2所述的一种基于三维人脸情绪识别的灯光和音乐控制方法，其音乐控制方法按照以下步骤进行：

a、初始状态为，电脑连接无线模块提供的无线网络，STM单片机模块、LED灯模块以及MP3音乐播放模块均处于上电状态，面部表情图像采集模块为待机状态，其3D深度传感器、高清图像传感器均处于关闭状态，当用户处于面部表情图像采集模块的红外人体检测传感器前时，红外人体检测传感器检测到有人进入，即开启3D深度视觉传感器采集深度图像和彩色图像，并采用上述权利要求2方法进行面部表情识别和情绪分类；

b、情绪分类中积极情绪编码为0x5511AA，正常情绪编码为0x5512AA，消极情绪编码为0x5513AA，电脑通过无线模块将情绪信号编码发送至STM单片机模块上，同时单片机控制开启LED灯模块以及MP3音乐播放器模块，其中将音乐分为中国传统音乐的宫、商、角、徽、羽五音与西方音乐的大小调，当STM32单片机模块识别积极情绪编码0x5511AA时，控制MP3音乐播放器模块从音乐库中随机播放中国传统羽调音乐以及西方音乐小调各一首，同时点亮LED灯模块中的蓝色LED，当STM32单片机模块识别正常情绪编码0x5512AA时，控制MP3音乐播放器模块从音乐库中随机播放中国传统商调音乐以及西方音乐大调各一首，同时点亮LED灯模块中的绿色LED，当STM32单片机模块识别消极情绪编码0x5513AA时，控制MP3音乐播放器模块从音乐库中随机播放中国传统宫调音乐以及西方音乐大调各一首，同时点亮LED灯模块中的红色LED；

c、播放完毕上述选择的中式经典音乐和西方音乐后，即关闭红、绿、蓝LED灯，并返回步骤a。