[发明专利]视频会议中的情绪识别

说明书

优先权要求

本申请要求2015年3月18日提交的美国申请第14/661,539号的优先权，其全部内容通过引用并入本文。

技术领域

本公开一般地涉及视频会议，并且更具体地，涉及用于识别视频会议中的参与者的情绪的系统和方法。

背景技术

如今，视频会议和视频电话呼叫是用于执行长距离双向视频和音频通信的流行工具。由于高速网络解决方案的出现、廉价的硬件组件和蜂窝网络的部署，这项技术已经迅速发展。通常，视频会议允许两个或更多个体使用多种软件应用(诸如，视频聊天应用)彼此进行通信，其中参与者能在交谈的同时看见彼此。视频聊天能够作为可下载软件应用或Web服务在通用计算机、移动设备和电视系统上使用。传统视频会议每一方的硬件要求包括：输入音频模块(例如，话筒)、输入视频模块(例如，摄像机)、输出音频模块(例如，扬声器)、输出视频模块(例如，显示器或投影机)、以及计算设备，所述计算设备将输入输出模块绑定在一起、压缩和解压缩音频和视频流、以及经由通信网络发起和保持数据链接。

通过提供与客户的直接通信而不考虑客户的位置，视频会议已经在客户服务和支持行业中变得流行。例如，视频聊天能够实现客户服务代表与客户之间的面对面互动。通常，能够从信息服务亭、移动设备、以及Web和社交媒体通道发起聊天会话。这允许公司为每个客户提供个性化的关注并且进行视频访谈、销售、促销、服务、支持、以及其他视频协作。

虽然视频会议创建了向客户提供服务的有用渠道，但是一个挑战性问题是应对发怒、烦躁、苦恼的用户。客户的愤怒并非始终易于发现，即使对于专业服务提供方或销售代表也是如此。在销售和客户服务中的重要策略之一是查明用户何时愤怒或烦躁并在非常早期的阶段防止难解的处境。不幸的是，即使对于有经验的专业人士这也是非常艰巨的任务。

发明内容

本公开一般地涉及用于视频会议的技术，在视频会议中能识别参会个体的情绪状态。所述视频会议可以包括两个或更多参与者(包括例如客户和客户服务代表)。如果所识别的情绪状态涉及消极情绪，诸如愤怒、紧张、恼怒以及烦躁，则所述情绪状态能被报告给视频会议参与者中的一者和/或第三方(诸如监督者、管理者或管理方)。可选地，所述第三方能进入所述个体间的视频会议以便解决任何问题。所述技术允许通过分析视频通道来检测面部情绪和/或分析音频通道来检测语音情绪而确定所述情绪状态。本技术能通过定位视频上的特征参考点(例如，面部标记)、使虚拟面部网格对准所述特征参考点并且查找反映面部模拟(face mimics)的网格变形来识别面部情绪。通过提取声音特征以及确定声音特征的改变能识别语音情绪。

根据所述技术的一个方面，提供一种用于视频会议的计算机实现的方法。所述方法包括以下步骤：接收包含一系列图像的视频；在一个或多个所述图像(例如，面部)中检测至少一个感兴趣的对象；定位所述至少一个感兴趣的对象的特征参考点；至少部分地基于所述特征参考点，使虚拟面部网格(本文为了简单，也称为“网格”)对准一个或多个所述图像中的所述至少一个感兴趣的对象；在所述一系列图像上查找所述网格的至少一个变形，所述至少一个变形与所述至少一个感兴趣的对象的至少一个面部模拟关联并反映所述至少一个面部模拟；确定所述至少一个变形涉及从多个参考面部情绪中选择的面部情绪；以及生成与所述面部情绪相关联的通信承载数据。

在一些实施例中，确定所述至少一个变形涉及从所述多个参考面部情绪中选择的所述面部情绪能包括：将所述网格的所述至少一个变形和所述多个参考面部情绪的参考面部参数进行对比；以及基于所述网格的所述至少一个变形和所述多个参考面部情绪的所述参考面部参数的对比来选择所述面部情绪。在某些实施例中，将所述网格的所述至少一个变形和参考面部参数进行对比能包括应用卷积神经网络。在某些实施例中，将所述网格的所述至少一个变形和参考面部参数进行对比能包括应用状态向量机。

在各种实施例中，所述方法可以进一步包括在服务提供方与客户之间建立单向或双向视频会议，其中所述视频是在客户侧捕获的。所述方法可以进一步包括通过通信网络将所述通信发送给第三方。所述方法可以进一步包括在与所述网格的所述至少一个变形关联的所述面部情绪涉及消极面部情绪的情况下，允许所述第三方进入所述客户与所述服务提供方之间的所述视频会议。在一些实施例中，所述方法可以进一步包括将所述通信发送并且呈现给客户服务代表或服务提供方。