[发明专利]用于混合现实环境中的对象分割的方法和系统

权利要求书

1.一种提供混合现实MR交互的方法，包括：

捕获用户的附器和物理外围输入设备的第一图像，其中，所述用户的附器覆盖所述物理外围输入设备的至少一部分；

执行分割，所述分割将所述第一图像分出与所述用户的附器对应的第一像素区域，其中，第二像素区域对应于所述物理外围输入设备；

基于代替所述第二像素区域地渲染表示虚拟外围输入设备的像素来从所述第一图像生成合成图像，使得所述虚拟外围输入设备在与所述物理外围输入设备相同的空间位置处出现在所述合成图像中并且由所述用户的附器至少部分地覆盖；以及

向所述用户显示所述合成图像。

2.根据权利要求1所述的方法，其中，与所述用户的附器覆盖所述物理外围输入设备的所述至少一部分基本上同时地向所述用户显示所述合成图像。

3.根据权利要求1所述的方法，其中，基于所述物理外围输入设备的多个位置处的活动的分布来执行所述第一图像的分割。

4.根据权利要求3所述的方法，其中，所述第一图像的分割包括：

确定所述物理外围输入设备的所述多个位置处的活动的历史分布，活动的历史分布基于所述用户或一组用户与所述物理外围输入设备之间的先前交互；

基于活动的历史分布来确定一个或更多个阈值；

将所述第一图像的像素与所述一个或更多个阈值进行比较；以及

基于所述比较的结果来确定与所述用户的附器对应的所述第一像素区域以及与所述物理外围输入设备对应的所述第二像素区域。

5.根据权利要求4所述的方法，其中，所述第一图像的分割包括：

基于活动的历史分布的统计分析来确定所述用户的附器在所述物理外围输入设备的所述多个位置中的每个位置处的可能性的分布；

基于所述可能性的分布来识别可能是所述用户的附器的一部分的像素；以及

基于所识别的像素的一个或更多个属性来确定所述一个或更多个阈值。

6.根据权利要求5所述的方法，还包括：

确定所述一个或更多个阈值中的与所述用户的附器的第一区域对应的第一阈值；

确定所述一个或更多个阈值中的与所述用户的附器的第二区域对应的第二阈值；以及

将所述第一图像的像素与所述第一阈值和所述第二阈值进行比较，以确定与所述用户的附器对应的所述第一像素区域。

7.根据权利要求6所述的方法，还包括：基于环境光强度或所述用户的身份中的至少一个来确定所述第一阈值或所述第二阈值中的至少一个。

8.根据权利要求3所述的方法，其中，所述活动的分布包括在所述物理外围输入设备的所述多个位置处的活动的即时分布。

9.根据权利要求8所述的方法，还包括：

从所述物理外围输入设备的第一位置处的传感器接收对活动进行接收的指示；

基于所述指示，捕获所述物理外围输入设备的第三图像；

选择与所述第一位置对应的第三像素区域和在所述第一位置周围的第四像素区域；

确定所述第三像素区域的颜色分量的第一直方图；

确定所述第四像素区域的颜色分量的第二直方图；

基于所述第一直方图和所述第二直方图来确定一个或更多个阈值；以及

将所述第一图像的像素与所述一个或更多个阈值进行比较，以确定所述第一图像的与所述用户的附器对应的所述第一像素区域。

10.根据权利要求9所述的方法，还包括：

基于活动的历史分布识别所述物理外围输入设备的接收次数少于预定先前活动数量的第二位置；

从所述第三图像中识别与所述第二位置对应的第五像素区域；

确定所述第五像素区域的颜色分量的第三直方图；

基于所述第三直方图来确定所述一个或更多个阈值中的第二阈值；以及

将所述第一图像的像素与所述第二阈值进行比较，以确定所述第一图像中的与物理键盘对应的所述第二像素区域。