[发明专利]视频会议中的情绪识别

权利要求书

1.一种用于视频会议的计算机实现的方法，所述方法包括：

接收包括一系列图像的视频；

在一个或多个所述图像中检测至少一个感兴趣的对象；

定位所述至少一个感兴趣的对象的特征参考点；

至少部分地基于所述特征参考点，使虚拟面部网格对准一个或多个所述图像中的所述至少一个感兴趣的对象；

在所述一系列图像上查找所述虚拟面部网格的至少一个变形，其中所述至少一个变形与至少一个面部模拟关联；

确定所述至少一个变形涉及从多个参考面部情绪中选择的面部情绪；以及

生成与所述面部情绪关联的通信承载数据。

2.根据权利要求1所述的方法，其中确定所述至少一个变形涉及从所述多个参考面部情绪中选择的所述面部情绪包括：

将所述虚拟面部网格的所述至少一个变形和所述多个参考面部情绪的参考面部参数进行对比；以及

基于所述虚拟面部网格的所述至少一个变形和所述多个参考面部情绪的所述参考面部参数的对比来选择所述面部情绪。

3.根据权利要求2所述的方法，其中将所述虚拟面部网格的所述至少一个变形和参考面部参数进行对比包括应用卷积神经网络。

4.根据权利要求2所述的方法，其中将所述虚拟面部网格的所述至少一个变形和参考面部参数进行对比包括应用状态向量机。

5.根据权利要求1所述的方法，进一步包括在服务提供方与客户之间建立单向或双向视频会议，其中所述视频是在客户侧捕获的。

6.根据权利要求5所述的方法，进一步包括通过通信网络将所述通信发送给第三方。

7.根据权利要求6所述的方法，进一步包括在与所述虚拟面部网格的所述至少一个变形关联的所述面部情绪涉及消极面部情绪的情况下，允许所述第三方进入所述客户与所述服务提供方之间的所述视频会议。

8.根据权利要求1所述的方法，进一步包括将所述通信发送并且呈现给客户服务代表或服务提供方。

9.根据权利要求1所述的方法，其中所述至少一个感兴趣的对象包括个体的面部。

10.根据权利要求1所述的方法，其中所述特征参考点包括面部标记。

11.根据权利要求10所述的方法，其中所述特征参考点包括指示以下至少一者的一个或多个面部标记：眉毛竖直位置、眼睛竖直位置、眼睛宽度、眼睛高度、眼睛间距、鼻子竖直位置、鼻子向上、嘴竖直位置、嘴宽度、颏宽度、上唇提起、颌落下、嘴唇延伸、左眉降下、右眉降下、嘴角下撇、以及外侧眉毛提起。

12.根据权利要求1所述的方法，进一步包括接收用于确定视频会议参与者的所述面部情绪的请求。

13.根据权利要求1所述的方法，其中检测所述至少一个感兴趣的对象包括对所述图像应用维奥拉-琼斯算法。

14.根据权利要求1所述的方法，其中定位所述特征参考点包括对所述图像的与所述至少一个感兴趣的对象关联的区域应用主动形状模型算法。

15.根据权利要求1所述的方法，其中所述虚拟面部网格的对准基于与所述至少一个感兴趣的对象的脸部形状关联的形状单元。

16.根据权利要求15所述的方法，进一步包括：

评估与所述面部形状关联的所述形状单元的强度；

评估与所述至少一个面部模拟关联的动作单元的强度；以及

评估所述虚拟面部网格绕三个正交轴的旋转和所述虚拟面部网格沿所述轴的平移。

17.根据权利要求1所述的方法，其中对一个或多个所述图像中的所述至少一个感兴趣的对象的检测是基于用户输入。

18.根据权利要求1所述的方法，其中所述多个面部情绪至少包括中立面部情绪、积极面部情绪、以及消极面部情绪。

19.根据权利要求18所述的方法，其中所述消极面部情绪包括愤怒、紧张、沮丧、尴尬、恼怒、以及烦躁中的至少一者。

20.根据权利要求1所述的方法，进一步包括：

接收与所述视频关联的音频流；以及

在所述至少一个感兴趣的对象的所述音频流中识别语音情绪。