[发明专利]基于表情和行为双模态结合的人类自然状态情感识别方法

摘要

本发明涉及一种基于表情和行为双模态结合的人类自然状态情感识别方法，包括以下步骤：S1：建立两级分类模式的情感认知架构；S2：对视频输入的自然姿态人体图像进行人体区域检测；S3：对人体躯干子区域的图像进行特征点提取，并根据不同时刻各帧图像内的特征点获取特征点运动轨迹，采用聚类方法由特征点运动轨迹获取反映人体行为的主运动轨迹，从主运动轨迹中提取出人体躯干运动特征；S4：根据人体躯干运动特征获得情感认知粗分类结果；S5：对人脸子区域的图像进行人脸表情特征提取；S6：输出对应查找出的人脸表情特征的情感认知细分类结果。与现有技术相比，本发明具有识别精度高、适用范围广、容易实现等优点。

主权项

1.一种基于表情和行为双模态结合的人类自然状态情感识别方法，其特征在于，包括以下步骤：S1：建立两级分类模式的情感认知架构，其中第一级分类模式为情感认知粗分类，第二级分类模式为情感认知细分类，同时通过大量图像的脱机训练建立对应情感认知粗分类的人体躯干运动特征库以及对应情感认知细分类的人脸表情特征库；S2：对视频输入的自然姿态人体图像进行人体区域检测，并将检测到的人体区域分为人脸子区域和人体躯干子区域；S3：对步骤S2获取的人体躯干子区域的图像进行特征点提取，并根据不同时刻各帧图像内的特征点获取特征点运动轨迹，采用聚类方法由特征点运动轨迹获取反映人体行为的主运动轨迹，从主运动轨迹中提取出人体躯干运动特征；S4：将步骤S3获取的人体躯干运动特征与步骤S1获取的人体躯干运动特征库相匹配，获得情感认知粗分类结果；S5：对步骤S2获取的人脸子区域的图像进行人脸表情特征提取；S6：以步骤S4获取的情感认知粗分类结果为基础，从步骤S1获取的人脸表情特征库查找与步骤S5获取的人脸表情特征相匹配的人脸表情特征，输出对应查找出的人脸表情特征的情感认知细分类结果。