[发明专利]图像处理系统、方法、设备、可读存储介质及程序产品

说明书

本发明实施例提供一种图像处理系统、方法、设备、可读存储介质及程序产品，面部表情分析装置与所述触觉反馈装置通过控制模块连接；面部表情分析装置用于采集目标对象的图像，并基于预先训练的改进后的Xception网络模型对所述图像进行分析，得到目标对象在交流时的情感状态信息；控制模块用于接收所述面部表情分析装置输出的情感状态信息，并根据所述情感状态信息向所述触觉反馈装置发送相应的控制指令；触觉反馈装置包括用于供用户触摸的感受区，以根据所述控制指令通过所述感受区向用户提供与所述情感状态信息对应的触觉反馈，通过所述系统可以通过触觉获取情感状态信息，无需占用听觉通道，能够提高获取情感状态信息的准确率。

技术领域

本发明实施例涉及通信技术领域，尤其涉及一种图像处理系统、方法、设备、可读存储介质及程序产品。

背景技术

面对面沟通是人们社交活动十分重要的一部分，在面对面沟通中可以依靠视觉通道获取对方的面部表情，能够更好的感知对方的情感。

对于视觉障碍者来说，视觉线索的减少使得社交信息大大减少，可能会带来交流时的低效。由于无法通过视觉通道来捕捉对方的面部表情，我们希望通过其他方式来为视觉障碍者补充视觉通道的信息，以便视觉障碍者在与人交流时可以更好的感知对方的情感变化。在一些方法中，可以通过听觉作为反馈，即通过语音输入的方式向用户传达对方的情感状态。

然而，对于视觉障碍者来说已经需要通过听觉通道处理多种信息，若再通过听觉通道反馈情感变化，将会进一步增加用户的认知负荷，从而导致用户无法准确获取目标对象的情感状态信息。

发明内容

本发明实施例提供一种图像处理系统、方法、设备、可读存储介质及程序产品，以解决用户无法准确获取目标对象的情感状态信息的问题。

第一方面，本发明实施例提供一种图像处理系统，所述系统包括面部表情分析装置、触觉反馈装置和控制模块；所述面部表情分析装置与所述触觉反馈装置通过控制模块连接；

所述面部表情分析装置用于采集目标对象的图像，并基于预先训练的改进后的Xception网络模型对所述图像进行分析，得到目标对象在交流时的情感状态信息；

所述控制模块用于接收所述面部表情分析装置输出的情感状态信息，并根据所述情感状态信息向所述触觉反馈装置发送相应的控制指令；

所述触觉反馈装置包括用于供用户触摸的感受区，以根据所述控制指令通过所述感受区向所述用户提供与所述情感状态信息对应的触觉反馈。

可选的，所述面部表情分析装置包括图像采集模块和图像处理模块；

所述图像采集模块用于采集所述目标对象的视频流；

所述图像处理模块用于对采集的视频流进行分割处理得到多帧图片，针对每一帧图片，通过面部区域提取单元确定所述图片中的面部区域，通过预先训练的改进后的Xception网络模型提取所述面部区域的特征，并基于提取的特征得到与所述图片对应的情感状态信息。

可选的，所述图像处理模块在通过预先训练的改进后的Xception网络模型得到与所述图片对应的情感状态信息时，具体用于：

通过所述改进后的Xception网络模型确定所述图片对应的多种情感状态信息，以及与每种情感状态信息对应的置信度；

通过比较各个置信度得到数值最高的置信度，将数值最高的置信度与预设置信度阈值比较；

当所述数值最高的置信度大于所述预设置信度阈值时，将所述数值最高的置信度对应的情感状态信息确定为与所述图片对应的情感状态信息；

当所述数值最高的置信度小于等于所述预设置信度阈值时，向所述控制模块发送用于表示未检测到情感状态的信息，以使所述控制模块控制所述触觉反馈装置停止提供触觉反馈。