[发明专利]多源输入、信息智能优化处理的全息触摸交互展示系统

摘要

本发明公开了一种多源输入、信息智能优化处理的全息触摸交互展示系统。该系统通过多传感器感知周围环境信息，在无受众的情况下，启动烟感传感器监测火灾的发生；在有受众存在的情况下，对视频中的人脸进行识别，推荐合适的播放资讯，增加客户的认同感。本展示系统引入交互模式，受众可以通过全息触摸屏实现人机互动，获取想要知道的资讯。同时，通过颜色共生矩阵提取出的特征和智能信息挖掘算法，将人脸表情识别的寻找感兴趣区域和特征提取结合成一步，利用近邻传播聚类算法对人脸进行聚类，根据情绪改变播放资讯信息。它能在复杂背景环境下根据受众的年龄、性别有效推送资讯，它能充分展示并引领受众更全面了解资讯，增加受众的认同感。

主权项

一种多源输入、信息智能优化处理的全息触摸交互展示系统，其特征在于，包括采集环境信息的多传感器、计算设备和全息互动触摸显示设备，（1）开启多传感器感知设备监测周边环境，检测红外传感器、声音传感器是否存在信号；在红外传感器、声音传感器均无信号的情况下，开启烟感传感器监测环境火灾讯情的发生；在红外传感器或声音传感器有信号的情况下，启动摄像头和互动触摸显示设备；（2）从视屏信息中读取图像帧或图像帧序列：人脸检测与定位，具体确定输入图像中是否存在人脸，若存在人脸，则确定一个或多个人脸的位置和大小；面部特征提取，在检测到的人脸上提取与性别和年龄相关的特征；根据提取的面部特征，对图像中人脸的年龄和性别做出估计；（3）采用智能信息挖掘算法和近邻传播聚类算法对人脸表情进行智能辨识并加以分类；通过颜色共生矩阵提取出的特征和智能信息挖掘算法，将人脸表情识别的寻找感兴趣区域和特征提取结合成一步，利用近邻传播聚类算法对人脸进行聚类；（4）资讯定制投放和资讯推荐投放:查询人脸是否与图像库中的人脸匹配，有无触摸感知信号和人脸表情是否积极；在人脸与图像库不匹配，无触摸感知信号，且人脸表情积极的情况下进行资讯的推荐播放；在有触摸感知信息的情况下，停止播放当前资讯，快速响应受众的触摸查询请求或播放受众指定资讯；在人脸与图像库匹配的情况下，在不中断当前正在播放资讯的前提下优先播放其感兴趣资讯；在人脸表情不积极的情况下，动态调整展示资讯类别；（5）若当前展示资讯未结束的情况下，继续展示当前资讯，否则，返回步骤（1）。