[发明专利]用于使用机器学习创建增强现实自摄像的方法和系统

说明书

本公开涉及使用机器学习创建增强现实自摄像。公开了用于生成AR自摄像或“AR自拍”的系统、方法、装置和非暂态计算机可读存储介质。在一个实施方案中，一种方法包括：移动设备的第一相机捕获图像数据，该图像数据包括对象在物理真实世界环境中的图像；移动设备的深度传感器接收深度数据，该深度数据指示对象在物理真实世界环境中与相机的距离；移动设备的一个或多个运动传感器接收运动数据，该运动数据至少指示第一相机在物理真实世界环境中的取向；基于运动数据生成虚拟相机转换，该相机转换用于确定虚拟相机在虚拟环境中的取向；以及使用图像数据、蒙版和基于虚拟相机取向选择的虚拟背景内容生成合成图像数据。

相关申请的交叉引用

本专利申请是于2018年9月6日提交的标题为“Augmented Reality Self-Portraits”的美国专利申请16/124,168的部分继续申请，该美国专利申请要求2017年9月8日提交的美国临时专利申请62/556,297的优先权，所述专利申请中每一者全文以引用方式并入本文。

技术领域

本公开整体涉及媒体编辑和增强现实。

背景技术

自摄像数字照片或“自拍”已成为流行文化现象。自拍通常是以保持在手臂长度处、指向镜子或者附接到自拍杆以将相机定位在更远离对象并捕获对象后面的背景场景的数字相机或智能电话来拍摄。自拍常被分享在社交网络服务(例如，)上。增强现实(AR)是物理真实世界环境的实时视图，该物理真实世界环境的元素被计算机生成的感官输入诸如声音、视频或图形“增强”。

发明内容

公开了用于生成AR自摄像或“AR自拍”的系统、方法、装置和非暂态计算机可读存储介质。

在一个实施方案中，一种方法包括：移动设备的第一相机捕获图像数据，该图像数据包括对象在物理真实世界环境中的图像；移动设备的深度传感器接收深度数据，该深度数据指示对象在物理真实世界环境中与相机的距离；移动设备的一个或多个运动传感器接收运动数据，该运动数据至少指示第一相机在物理真实世界环境中的取向；移动设备的一个或多个处理器基于运动数据生成虚拟相机转换，该相机转换用于确定虚拟相机在虚拟环境中的取向；一个或多个处理器由图像数据和深度数据生成蒙版，其中生成蒙版包括：神经网络生成低分辨率蒙版；以及处理低分辨率蒙版以移除低分辨率蒙版中的伪影；由经处理的低分辨率蒙版生成高分辨率蒙版，其中高分辨率蒙版具有比低分辨率蒙版高的分辨率；一个或多个处理器使用图像数据、高分辨率蒙版和虚拟背景内容生成合成图像数据，虚拟背景内容是使用相机转换从虚拟环境选择的；以及一个或多个处理器使得在移动设备的显示器上显示合成图像数据。

在一个实施方案中，处理低分辨率蒙版以移除低分辨率蒙版中的伪影的步骤还包括：由包括对象的面部的边界框或深度数据的直方图中至少一者生成内蒙版和外蒙版；由内蒙版生成孔洞填充的蒙版；由孔洞填充的蒙版生成肩部/躯干蒙版；使用第一核膨胀内蒙版；使用比第一核小的第二核膨胀外蒙版；由膨胀后的内蒙版和膨胀后的外蒙版的相交生成垃圾蒙版；将低分辨率蒙版与垃圾蒙版组合以创建面部蒙版；将面部蒙版与肩部/躯干蒙版组合成合成低分辨率蒙版；由合成低分辨率蒙版生成高分辨率蒙版；将时间滤波器应用于高分辨率蒙版以生成最终蒙版；以及使用图像数据、最终蒙版和虚拟背景内容生成合成图像数据。

其他实施方案涉及系统、方法、装置和非暂态计算机可读介质。

本文所公开的特定具体实施提供了下列优点中的一个或多个优点。通过允许用户使用嵌入在移动设备中的前置相机或后置相机捕获和记录自拍视频、并自动地以响应于来自移动设备的运动传感器的运动数据自动更新的用户所选虚拟背景内容替换在实时视频预览中所捕获的真实世界背景，改善了在移动设备上创建自拍的用户体验。因此，所公开的具体实施提供了用于捕获可通过社交网络与朋友和家人分享的自拍图像的交互式娱乐过程。

在下面的附图和具体实施方式中示出了所公开的具体实施的细节。从说明书、附图和权利要求书中明显看出其他特征、目标和优点。