[发明专利]用于在增强现实显示装置中操作的系统和方法

说明书

移动装置使用所述装置的内置成像能力捕获物体图像。结构辨识模块分析所捕获的图像以识别所捕获的物体的3D形状。颜色辨识模块分析所捕获的图像的颜色以区分可以是形状类似的物体。图像分析信息被发送到服务器，并且所述服务器选择适当视频文件以在所述移动装置上进行增强现实(AR)显示。所述移动装置的操作语言的用户选择也被提供给所述服务器。所述系统包括对应于每个视频AR文件的不同语言的音频数据文件。所述服务器选择对应于由所述移动装置提供的语言选择数据的音频文件。所述语言适当的音频文件链接到所述视频文件，并且所述视频和音频AR数据被传输到所述移动装置。

相关申请的交叉引用

本申请要求2018年11月2日提交的美国专利申请号16/179,315和2018年8月8日提交的美国临时申请号62/716,273的权益，所述临时申请均以引用的方式整体并入本文。

技术领域

本公开涉及一种增强现实系统，并且更具体地，涉及一种用于增强现实显示系统中的颜色、形状和语言辨识的系统和方法。

背景技术

计算机技术、尤其是相对于计算机图形的进步导致增强用户体验的技术发生了很大进步。虚拟现实(VR)通常被定义为包括完全模拟的环境中的计算机生成的体验。听觉和视觉模拟通常在虚拟现实耳机或多投影仪环境中实现。与VR相比，增强现实(AR)是一种将真实环境与计算机生成的图形物体、听觉数据组合的交互式体验以及将计算机生成的数据与真实世界数据组合的其他感官效果。

典型的AR体验要求计算机系统识别某些物体。然而，所述技术的缺点是无法辨识某些结构形状和颜色。另外，期望以用户选择的语言呈现听觉体验。可了解，非常需要对提供结构和颜色辨识以及语言识别的技术进行改进。如将在以下详细描述和附图中解释的，本发明提供了此优点和其他优点。

附图说明

图1例示用于实现本公开的教导内容的采样系统架构。

图2是被配置用于根据本教导内容进行操作的移动装置的功能框图。

图3是例示在不含结构辨识的情况下增强现实图像识别系统的无能的图。

图4例示根据本教导内容的系统的用以提供物体的结构和颜色辨识的操作。

图5是例示结构辨识模块的操作的流程图。

图6是例示颜色辨识模块的操作的流程图。

图7是例示由移动装置的用户选择的语言识别参数的操作的流程图。

图8例示对标签中的用以帮助进行颜色校正的完美或理想的白色像素的选择。

图9例示用作故障排除工具以可视地识别捕获图像中的颜色识别的颜色立方体。

具体实施方式

当提及用于增强现实(AR)跟踪的标记辨识时，尚无区分颜色的先验方法。区分和识别标记的现有途径仅基于标记内部的形状。广泛使用的API仅采用基于形状的AR标记辨识。

此外，这些传统的API只能区分彻底不同的形状。例如，糖果包装的常规AR跟踪将很难区分不同风味的包装。如果主要标志的大小较大，则尤其困难，因为算法将以所述漫步特征进行绘制。

本文所述的系统和方法可区分具有不同颜色的相同形状的AR标记。这是通过使用基于形状的辨识结合基于颜色的区分实现的。

对于最终用户，他们能够看到包装相同但颜色不同的两种产品之间的两种不同相互作用。例如，所公开的技术将使用户能够看到两种不同口味的维生素水上的两种不同相互作用，其中不同口味的唯一区别性特征可以是标签的颜色。传统AR跟踪技术将混淆维生素水生产线，因为它们的形状/形式/布局看起来几乎相同，但颜色却不同。