[发明专利]一种带有实时情绪识别功能的人机交互公共设备

说明书

本发明涉及一种带有实时情绪识别功能的人机交互公共设备，包括：触摸屏，用于显示图像且具有虚拟功能键；触摸屏压力传感器、多轴向振动传感器、红外测温传感器，分别设置在触摸屏的下方，以感应操作者的压力大小、接触面积、手指、手掌和头面部的体温、操作者的身高、触摸操作时距屏幕的距离；CPU，控制各技术特征协调工作；GPU，为显示信息进行转换驱动，控制显示器的正确显示；系统软件，包括操作系统、算法和应用、操作特征数据库、内容和素材；及内存和存储器，用于存储数据和加载系统软件。人机交互时，系统获取操作者的触及动作频率、节奏、手掌和脸部的体温、操作间的停顿等操作特征，并且根据振动、距离和身高计算出操作力度、行程、幅度。

技术领域

本发明涉及一种人机交互公共设备，特别是涉及一种带有实时情绪识别功能的人机交互公共设备。

背景技术

随着物联网传感器的普及、芯片计算能力的提升，感知物理世界的精度和频度越来越高，采集的数据越来越全面和深入。但是目前的人机交互公共设备，如餐厅的自助点餐屏、商场的导航屏、影院的自助售票屏，都缺少相应的感知能力，不仅缺失传感器等硬件组件，也缺少相应的软件系统模块，使得公共交互设备不能很好的提升公共服务的体验，甚至给操作者带来麻烦。

当前的交互设备大部分缺少多角度的感知能力，主要依赖视频采集、音频采集工具获取表情和语音语调等单一的信息来计算操作者情绪。

由于视频音频采集设备受到环境干扰等因素的制约，无法准确获取脸部视频或语音音频。

摄像头、麦克风等设备所采集的信息可能涉及可识别操作者身份的敏感信息，例如，脸部特征、声纹等。因此，采集时应当告知操作者，而当操作者知晓有此类影音采集设备工作时，会刻意改变表情或音调，更倾向于隐藏掩饰自己的情绪。

视频音频数据属于非结构化数据，数据传输所需的网络带宽较大、分析处理时的耗费的计算资源较高、建模的效率较低。如果还需要进行实时的识别，对于交互设备本地的计算资源和I/O资源要求都极高，硬件成本大大上升。

因此目前主流的交互设备无法准确的获取并识别操作者的情绪，也就不能及时反馈，提供更好的操作体验。

发明内容

本发明旨在于提供一种带有实时情绪识别功能的人机交互公共设备，以解决如下技术问题：

1.给人机交互公共设备增加压力、振动、测距和温度传感器以及音频视频采集模块，从而使人机交互公共设备感知操作者的情感和习惯，并依次实现更加人性化的人机交互；

2.给人机交互公共设备增加通信模块且连接到云计算资源，从而增强人机交互公共设备的云端服务和管理；以及

3.采用的人工智能和机器学习模型，构建完善的策略引擎和情绪特征数据库，实现并逐步强化人机交互设备的卷积神经网络和机器深入学习。

为实现上述目的，本发明提供如下技术方案：一种带有实时情绪识别功能的人机交互公共设备，包括：触摸屏，用于显示图像，并且具有虚拟功能键；触摸屏压力传感器，设置在触摸屏的下方，以感应操作者触摸力的大小、接触区域的面积；多轴向振动传感器，设置在触摸屏的下方，以感应操作者手指接触区域产生的振动；红外测温传感器，设置在触摸屏的下方，以感应操作者的手指、手掌和头面部的体温、操作者的身高、触摸操作时距屏幕的距离；CPU，控制各技术特征协调工作；GPU，为显示信息进行转换驱动，并向显示器提供行扫描信号，控制显示器的正确显示；系统软件，包括操作系统、算法和应用、操作特征数据库、内容和素材；以及内存和存储器，用于存储数据和加载系统软件。当操作者进行人机交互时，系统软件经计算获取操作者的触及动作频率、节奏、手掌和脸部的体温、操作间的停顿等操作特征，并且根据振动、距离和操作者身高数据计算出操作力度、行程、幅度等操作特征。