[发明专利]反应性简档肖像

说明书

通过在诸如社交媒体网站的在线系统中，作为对观看用户做出的动作的反应而显示表达相关情绪的目标用户的短视频片段，反应性简档图片使简档图像栩栩如生，观看用户的动作与和目标用户相关联的内容相关。因此，观看用户以类似于面对面交互的方式体验实时反应。反应性简档图片可以从目标用户的视频输入或者从目标用户的单个输入图像自动生成。

背景

本公开涉及在在线系统中生成反应性简档(reactive profile)图片。

在社交媒体网站和其他在线系统中，用户可以向在线系统提供其他用户可以查看并与之交互的内容。例如，用户可以对另一个用户的简档页面发表评论，对另一个用户的帖子发表评论，或者表达关于另一个用户提供的内容的情感。当在虚拟环境中进行交互时，这些交互缺乏可以在面对面交互中实现的关连(connection)感，因为没有现实世界中出现的面部表情或肢体语言形式的实时、富有表现力的反馈。

概述

在实施例中，一种方法将输入视频分割成情绪片段，每个情绪片段描绘表达不同情绪的目标个体。在线系统的服务器接收描绘目标个体的肖像的输入视频。确定输入视频的每个帧中的目标个体的面部特征点的位置。从输入视频获得描绘处于中性表情(neutralexpression)的目标的空闲帧(idle frame)。将空闲帧中的目标个体的面部特征点的基线位置与输入视频的每个非空闲帧中面部特征点的位置进行比较，以生成空闲帧与每个非空闲帧之间的相应的距离度量。识别相应的距离度量达到第一局部峰值的第一峰值表情帧(expression frame)。识别第一峰值表情帧之前的第一起始帧和识别在第一峰值表情之后的第一结束帧。生成包括第一范围的帧的第一情绪片段，该第一范围的帧在第一起始帧处开始，并在第一结束帧处结束。将第一情绪片段存储到存储介质。

在实施例中，识别相应的距离度量达到第二局部峰值的第二峰值表情帧。识别第二峰值表情帧之前的第二起始帧和识别在第二峰值表情之后的第二结束帧。生成包括第二范围的帧的第二情绪片段，该第二范围的帧在第二起始帧处开始，并在第二结束帧处结束。将第二情绪片段存储到存储介质。

在实施例中，确定与第一峰值表情帧相关联的时间位置，以及从查找表识别与该时间位置相关联的预期情绪。生成表示与第一情绪片段相关联的预期情绪的元数据标签。将元数据标签与第一情绪片段相关联地存储。

在另一个实施例中，实施面部分析以识别与第一情绪片段相关联的情绪。生成表示与第一情绪片段相关联的情绪的元数据标签。将元数据标签与第一情绪片段相关联地存储。

在实施例中，可以通过识别包括一定范围的帧的空闲片段并检测空闲片段内满足具有在满足预定义标准的位置中的面部特征点的帧来获得空闲帧。将满足预定义标准的帧分配为空闲帧。

在另一个实施例中，可以通过识别包括一定范围的帧的空闲片段并通过对空闲片段中的一定范围的帧求平均值来合成空闲帧而获得空闲帧。

在实施例中，在第一峰值表情帧之前的预定义的范围内识别起始范围的帧，并且从起始范围的帧中选择与空闲帧具有最佳匹配的第一起始帧。在第一峰值表情帧之后的预定义的范围内识别结束范围的帧，并且从结束范围的帧中选择与空闲帧具有最佳匹配的第一结束帧。

在另一个实施例中，一种方法响应于动作生成反应性简档肖像。将描绘目标用户的肖像的多个视频片段与目标用户的简档相关联地存储。多个视频片段中的每一个与不同的情绪相关联，并且描绘表达对应情绪的目标用户。多个视频片段包括描绘处于中性表情的目标用户的空闲片段。向观看用户的客户端设备提供空闲片段连同与目标用户相关联的内容的呈现。检测在客户端设备上观看用户和与目标用户相关联的内容的交互。分析交互以确定与该交互相关联的情感。基于该情感，从多个视频片段中选择反应性视频片段。反应性视频片段与对应于交互的情感的情绪相关联。向客户端设备呈现反应性视频片段。