[发明专利]用于与具有内置摄像头的设备进行交互的手遮脸输入感测

权利要求书

1.一种感测与包括摄像头的电子设备的交互的方法，其特征在于，所述方法包括：

接收由所述摄像头捕获的一个或多个图像的图像数据；

处理所述一个或多个图像的所述图像数据，以确定手势的类型和所述手势在所述一个或多个图像中的位置；

处理所述一个或多个图像的所述图像数据，以确定所述图像中的多个脸部特征位置；

将所述手势的所述位置与所述多个脸部特征位置中的每一脸部特征位置进行比较；

基于所述比较和所述手势的所述类型识别动作；并且

提供所述动作的指示，所述动作的指示包括将增强现实元素添加到所述图像，且所述方法还包括基于所选脸部特征来选择用于添加到所述图像的所述增强现实元素。

2.根据权利要求1所述的方法，其特征在于，还包括基于所述比较识别所选脸部特征，所述所选脸部特征在所述多个脸部特征位置中具有与所述手势的所述位置最接近的所选脸部特征位置。

3.根据权利要求2所述的方法，其特征在于，所述识别所述动作还基于所述所选脸部特征。

4.根据权利要求1所述的方法，其特征在于，还包括基于所述识别来处理所述一个或多个图像的所述图像数据，以生成处理后的图像。

5.根据权利要求1所述的方法，其特征在于，所述处理所述图像包括将所述增强现实元素添加到在空间上与所述所选脸部特征相关联的所述处理后的图像。

6.根据权利要求5所述的方法，其特征在于，还包括将所述处理后的图像提供到所述电子设备的显示屏。

7.根据权利要求1至6中任一项所述的方法，其特征在于，还包括基于所述动作向音频控制元件提供命令。

8.根据权利要求1至6中任一项所述的方法，其特征在于，处理所述一个或多个图像以确定所述图像中的多个脸部特征位置包括：使用计算机视觉方法检测所述多个脸部特征以及所述多个脸部特征中的每一脸部特征的所述位置。

9.根据权利要求8所述的方法，其特征在于，还包括跟踪所述一个或多个图像中的所述多个脸部特征。

10.根据权利要求1至6中任一项所述的方法，其特征在于，还包括：

处理所述一个或多个图像的所述图像数据，以确定第二手势的类型和所述第二手势在所述图像中的位置；并且

将所述第二手势的所述位置与所述多个脸部特征位置中的每一脸部特征位置进行比较；

基于所述比较识别第二动作；并且

提供所述第二动作的指示。

11.根据权利要求10所述的方法，其特征在于，处理所述一个或多个图像以确定手势的类型和所述手势在所述一个或多个图像中的位置包括：使用检测器计算机视觉方法检测所述手势的所述类型以及所述手势在所述一个或多个图像中的位置。

12.一种电子设备，其特征在于，包括：

摄像头，用于捕获一个或多个图像；

显示屏；

处理器，用于执行根据权利要求1至11中任一项所述的方法。

13.一种包括指令的计算机可读介质，其特征在于，所述指令当由包括摄像头的电子设备的处理器执行时，使所述电子设备执行根据权利要求1至11中任一项所述的方法。