[发明专利]基于表情识别的智能家居控制方法及系统在审

专利信息
申请号: 202211355021.6 申请日: 2022-11-01
公开(公告)号: CN115793479A 公开(公告)日: 2023-03-14
发明(设计)人: 高洁;陈欢;衣明珅;李日阳;景建超 申请(专利权)人: 广东职业技术学院
主分类号: G05B15/02 分类号: G05B15/02;G05B19/418
代理公司: 广州嘉权专利商标事务所有限公司 44205 代理人: 叶洁勇
地址: 528041 广*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 基于 表情 识别 智能家居 控制 方法 系统
【说明书】:

发明公开了基于表情识别的智能家居控制方法及系统,该方法包括:实时获取并处理视频信息,得到图像序列;对图像序列进行人脸识别和口罩检测;根据口罩检测结果,结合与口罩检测结果对应的表情识别模型对人脸区域进行表情识别,得到表情情绪数据;根据表情情绪数据控制智能家居设备启动,对当前智能家居环境进行调节;口罩检测结果包括人脸区域包括口罩或不包括口罩,表情识别模型包括第一表情识别模型或第二表情识别模型。本申请通过分辨用户是否佩戴有口罩,进而调用不同的表情识别模型进行人脸表情情绪的识别,提高了情绪识别的准确率,避免用户因佩戴口罩而无法进行表情情绪识别的现象发生,进而满足用户的不同情感状态对家居环境的需求。

技术领域

本发明涉及智能家居控制技术领域,特别涉及基于表情识别的智能家居控制方法及系统。

背景技术

目前的智能家居系统大部分为场景互动或语音交互,例如通过手机APP控制智能家居系统中的智能设备,再例如通过语音控制智能家居系统执行对应的功能,智能家居系统识别用户的语音后执行相应的操作。虽然智能家居系统的发展势头迅猛,但是目前国内的智能家居系统在智能家居环境控制方面并未充分地考虑到用户的不同情感状态对家居环境的需求,鲜少有智能家居系统融合用户的情感状态来实现对家居环境的调节,智能化程度不高,降低了用户的使用体验。

面部表情识别技术由于其高信息量、情感交互的作用,吸引更多研究者的关注。随着计算机技术的不断发展,基于深度学习的面部表情识别技术正在得到充分挖掘和应用。若将面部表情识别技术与智能家居系统进行融合,则可识别出用户实际情绪,进而充分地考虑到用户的不同情感状态对家居环境的需求。但是,若用户在佩戴口罩时使用融合了面部表情识别技术的智能家居系统,由于口罩遮挡人脸表情的绝大部分信息,使得戴口罩的人脸表情识别具有高度复杂性,可能导致智能家居系统无法准确地识别用户的感情状态,进而无法实现用户的不同情感状态对家居环境的需求。

发明内容

本发明的目的是提供基于表情识别的智能家居控制方法及系统,通过表情识别模型准确识别用户的感情状态,根据感情状态对智能家居环境进行调节,进而实现用户的不同情感状态对家居环境的需求。

本发明解决其技术问题的解决方案是:第一方面,本申请提供基于表情识别的智能家居控制方法,包括如下步骤:

实时获取视频信息,将所述视频信息分解为按时间排序的图像序列,预处理所述图像序列,所述图像序列携带有对应的时间戳;

对预处理后的所述图像序列进行人脸识别和口罩检测,得到人脸区域以及口罩检测结果;

根据所述口罩检测结果,结合与所述口罩检测结果对应的表情识别模型对所述人脸区域进行表情识别,得到表情情绪数据,所述表情情绪数据携带有与所述人脸区域对应的身份信息;

根据所述表情情绪数据、所述身份信息和所述时间戳,输出与所述表情情绪数据对应的控制指令控制智能家居设备启动,对当前智能家居环境进行调节;

其中,所述口罩检测结果包括:所述人脸区域包括有口罩或所述人脸区域未包括有口罩中的任一种;

所述与所述口罩检测结果对应的表情识别模型包括第一表情识别模型或第二表情识别模型中的任一种;

所述表情情绪数据包括第一表情情绪数据或第二表情情绪数据中的任一种;

其中,所述根据所述口罩检测结果,结合与所述口罩检测结果对应的表情识别模型进行表情识别,得到表情情绪数据,包括:

当所述口罩检测结果为所述人脸区域包括有口罩,则通过所述第一表情识别模型结合所述人脸区域进行表情情绪识别,得到第一表情情绪数据,所述第一表情情绪数据携带有与所述人脸区域对应的身份信息;

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东职业技术学院,未经广东职业技术学院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202211355021.6/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top