[发明专利]基于多模态人机交互的健康信息管理电视在审
申请号: | 201710920054.3 | 申请日: | 2017-09-30 |
公开(公告)号: | CN107635147A | 公开(公告)日: | 2018-01-26 |
发明(设计)人: | 赵群飞;张兆瑞;谭云龙;张鹏翥 | 申请(专利权)人: | 上海交通大学 |
主分类号: | H04N21/422 | 分类号: | H04N21/422;H04N21/4223;H04N21/478;H04N21/488;G06F19/00 |
代理公司: | 上海汉声知识产权代理有限公司31236 | 代理人: | 郭国中 |
地址: | 200240 *** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 多模态 人机交互 健康 信息管理 电视 | ||
1.一种基于多模态人机交互的健康信息管理电视,其特征在于,包括:
信息录入模块:录入用户的健康信息;
输入交互模块:采集图像信息、声音信息、环境信息以及文字输入信息;
健康监控模块:监控状态下,根据采集到的图像信息、声音信息判断用户的健康状态是否异常,并根据异常的类别执行对应的操作,以及根据采集到的环境信息给出对应的提示;
输出交互模块:交互状态下,根据采集到的图像信息、声音信息以及文字输入信息进行综合分析,通过图像、语音及文字等方式与用户交互,并将健康数据发送至云端的健康管理中心。
2.根据权利要求1所述的基于多模态人机交互的健康信息管理电视,其特征在于,所述信息录入模块通过语音输入、文字输入或者图表识别的方式录入健康信息。
3.根据权利要求1所述的基于多模态人机交互的健康信息管理电视,其特征在于,所述输入交互模块通过摄像头及3D图像传感器采集图像信息,所述图像信息包括用户的身体姿态、面部疲劳状态、手势动作,通过麦克风采集声音信息,所述声音信息包括用户的语音信息、生理声纹信息,通过包括温度传感器、湿度传感器以及气压传器采集环境信息。
4.根据权利要求1所述的基于多模态人机交互的健康信息管理电视,其特征在于,所述健康状态包括:无环境因素下健康状态以及环境因素下健康状态。
5.根据权利要求1所述的基于多模态人机交互的健康信息管理电视,其特征在于,所述健康监控模块通过采集到的声音信息判断用户是否出现打喷嚏、咳嗽、呻吟在内的身体异常。
6.根据权利要求1所述的基于多模态人机交互的健康信息管理电视,其特征在于,所述健康监控模块通过采集到的图像信息判断用户是否出现包括久坐不起、摔倒、神态疲劳的身体异常。
7.根据权利要求1所述的基于多模态人机交互的健康信息管理电视,其特征在于,交互状态下,所述输出交互模块调用知识库内健康知识进行交互,并通过反馈机制,不断学习以提升人机交互的识别准确率。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海交通大学,未经上海交通大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710920054.3/1.html,转载请声明来源钻瓜专利网。