[发明专利]一种联合图像、语音的全面情绪识别方法

摘要

本发明公开了一种联合图像、语音的全面情绪识别方法和系统，识别的过程是信息采集装置从输入视频中采集到相应语音、视频信号后，分别传送到对应的情感分类模块，经分类处理后，集成学习训练器分配权重，经加权处理后，输出识别结果，完成识别过程。系统由信息采集装置、情感分类器和集成处理器组成，信息采集装置包括视频采集器和音频采集器；情感分类器包括对采集的视频信息进行情感分类的表情情感分类模块和对采集的音频信息进行情感分类的语音情感分类模块；集成处理器包括加权模块、集成学习训练器。本发明具有情感分类可靠性更高、调整置信度参量灵活、精度高的优点，通过表情语音双向识别，极大程度上模拟了人类情感识别过程。

主权项

一种联合图像、语音的全面情绪识别方法，其特征在于，包括以下步骤：步骤1：从CASIA汉语情感语音数据库收集N个语音情感样本，并从人脸表情识别图片库收集N个表情情感样本，根据原始情感分类标记将获得的语音和表情样本，归结为n种情感类别ej，1≤j≤n；步骤2：对N个语音样本构建元分类器样本训练特征数组：xmeta＝＜p1(e1|x),p2(e1|x),p1(e2|x),p2(e2|x),…,p1(en|x),p2(en|x)＞，其中，x表示语音样本，pi(ej|x)表示第i(i＝1,2)个语音情感弱分类器判断x属于类别ej的后验概率；步骤3：对N个表情样本构建元分类器样本训练特征数组，ymeta＝＜p1(e1|y),p2(e1|y),p1(e2|y),p2(e2|y),…,p1(en|y),p2(en|y)＞，其中，y表示表情样本，pi(ej|y)表示第i(i＝1,2)个表情情感弱分类器判断y属于类别ej的后验概率；步骤4：使用M倍交叉验证的方式处理语音、表情样本的原始标注集Lx和Ly，Lx＝[xmeta]N×2n,Ly＝[ymeta]N×2n，其中，Lx,Ly分别表示语音、表情样本的原始标注集，是含有N个样本后验概率的N行2n列的矩阵；步骤5：将原始标注数据集平均分成M(M≤N/n)份，每份包含所有情感类别，分别为L1,L2,…,LM，赋予k初值1，1≤k≤M；步骤6：将Lk作为新的未标注样本，其余作为新的标注样本，即：Unew＝Lk,Lnew＝L‑Lk，其中，Unew表示新的未标注样本集，作为训练样本；Lnew表示新的标注样本集，并令步骤7：分别使用两种语音情感弱分类器F1,F2对语音样本集训练，得到分类的后验概率P1(c|x)＝F1(x),P2(c|x)＝F2(x)；步骤8：再分别使用两种表情情感弱分类器G1,G2对语音样本集训练，得到分类的后验概率P1(c|y)＝G1(y),P2(c|y)＝G2(y)，设置置信度要求η；步骤9：对于分类结果与样本初始标记c0一致的后验概率P(c0|c)≥η的样本xmeta和ymeta，移入新的标注样本集Lnew，剩余的样本作为不可信样本留在训练样本集Unew继续参与迭代，判断此时k值：小于N返回步骤6；否则进入步骤10；步骤10：令可信的新样本集Lnew中xmeta和ymeta个数分别为Nx和Ny，将Nx|(Nx+Ny)和Ny|(Nx+Ny)分别作为置信度为η的语音和表情情感识别的权重；步骤11：输入音频流，截取表情图片并提取语音信号，分别用上述四种情感识别方法分类，对分类结果加权获得可信度较高的情感分类结果。