[发明专利]在远程会议中的眼睛凝视角反馈

说明书

一种在远程会议中向展示者提供反馈的方法包括通过使用与显示展示者所展示的内容的计算设备相关联的相机来捕获远程会议中的远程参与者的图像。基于所捕获的图像来确定针对至少一个远程参与者的眼睛凝视角信息。基于眼睛凝视角信息来标识所显示的内容中的至少一个感兴趣的区。向展示者提供反馈，其包括所标识的至少一个感兴趣的区的指示。

背景技术

个性化的虚拟交互、比如视频会议正越来越多地被用于完成各种任务、诸如进行远程会议。视频会议使得位于不同地点处的参与者能够经由双向视频和音频传输而同时交互。视频会议可以如在位于不同地点处的两个参与者之间的会话那样简单，或涉及位于不同地点处的许多参与者之间的讨论，并且可以包括共享的展示内容、诸如视频展示或幻灯片。随着高速网络连接性正变得以较低成本而更广泛可用，并且视频捕获和显示技术的成本继续降低，通过网络在处于遥远地方的参与者之间进行的视频会议正变得越来越流行。

附图说明

图1是图示了根据一个示例的远程会议系统的图解。

图2是图示了用于图1中所示的远程会议系统的远程计算设备的一个示例的框图。

图3是图示了用于图1中所示的远程会议系统的展示者计算设备的一个示例的框图。

图4是图示了根据一个示例的在远程会议中执行眼睛凝视角估计的方法的流程图。

图5是图示了根据一个示例的在远程会议中向展示者提供反馈的图解。

图6是图示了根据一个示例的具有热图类型指示的展示内容的显示的图解。

图7是图示了根据一个示例的针对远程会议的两个参与者的随时间的眼睛移动强度的图表的图解。

图8是图示了在远程会议中向展示者提供反馈的方法的流程图。

具体实施方式

在以下具体实施方式中，参考了附图，所述附图形成本文的一部分，并且其中作为图示而示出了其中可以实践本公开内容的特定示例。要理解的是，可以利用其它示例，并且可以做出结构性或逻辑改变而不偏离本公开内容的范围。因此，以下具体实施方式不要以限制性意义被理解，并且本公开内容的范围由所附权利要求来限定。要理解的是，本文中所述的各种示例的特征可以部分地或整个地与彼此组合，除非另行特别指出。

一些示例涉及通过网络被连接在一起以用于虚拟交互(诸如远程会议)的多个参与者。如本文中所使用的远程会议意图是指在至少两个参与者之间的交互，其中不是全部参与者都位于相同的物理位置处(即至少一个参与者位于远程处)。远程会议的参与者可以使用便携式或非便携式计算设备，诸如但不限于个人计算机、台式计算机、膝上型计算机、笔记本计算机、网络计算机、个人数字助理(PDA)、移动设备、手持式设备、或任何其它合适的计算设备。一些示例涉及通过网络(诸如因特网)被连接在一起的至少一个展示者以及多个参与者。可以指出的是，展示者是在该性质的远程会议的上下文中的“参与者”，其中他或她正与其他“参与者”交互。

一些示例针对应用凝视检测以确定远程会议中的参与者注意力信息，并且向远程会议的展示者提供反馈。通过使用与每个参与者的计算设备相关联的凝视敏感的接口(例如网络相机(webcam))来确定会议参与者的凝视角信息。一些示例依赖于从消费者级的网络相机所获得的图像，并且应付不受约束的环境，其可以包括不同的头部姿势、可变照明以及其它因素。一些示例从这些图像中提取信息，诸如检测面部界标、头部旋转、眼睛位置和头部角度。眼睛信息被确定并且被输入到卷积神经网络(CNN)以提取特征，所述特征被用作用于机器学习预测模块的输入以确定眼睛凝视角。基于眼睛凝视角信息，被展示的内容中的感兴趣的区被标识并且作为反馈被提供给展示者。