[发明专利]用于确定外围设备位移的方法和系统

说明书

提供了一种用于确定外围设备位移的方法和系统。在一个示例中，外围设备包括：图像传感器以及硬件处理器，硬件处理器被配置成：当外围设备处于表面上的第一位置时，控制图像传感器捕获表面的第一图像，第一图像包括表面的第一位置的特征；使用从第一图像得到的数据执行训练的机器学习模型，以估计第一图像与在表面的第二位置处捕获的参考图像之间的特征的位移；以及基于所估计的特征的位移确定外围设备的位移。

技术领域

本发明涉及用于确定外围设备位移的方法和系统。

背景技术

外围设备可以用于使人与计算机接口。一些常见的外围设备包括键盘、计算机鼠标、图像扫描仪、扬声器、麦克风、网络摄像机等。这些外围设备中的一些可以检测作为来自用户的输入的运动，并将运动转换为计算机的输入。例如，诸如计算机鼠标的手持外围设备可以检测其相对于表面的移动，并将相对于表面的移动转换为图形用户界面(GUI)中显示的光标的相应移动。用户可以移动计算机鼠标以控制光标的位置，以通过GUI与计算机接口。

假设计算机鼠标将表面上的移动转换为显示器中光标的相应移动，用户在控制计算机鼠标时依赖该光标的相应移动，计算机鼠标检测其移动的精度对于用户体验而言可能是关键的。例如，在更高精度的移动检测的情况下，计算机鼠标可以更准确地响应用户的输入(以计算机鼠标的移动的形式)，这使得用户能够更确定地将他/她的计算机鼠标的移动与光标的显示位置相关联。这可以改善用户使用计算机鼠标操作的平滑度和效率。因此，可以提高生产力和用户体验。

发明内容

在一些实施方式中，提供了一种方法。该方法包括：从表面上的第一位置处的图像传感器捕获表面的第一图像，第一图像包括表面的第一位置的特征；使用从第一图像得到的数据执行训练的机器学习模型，以估计第一图像与在表面的第二位置处捕获的参考图像之间的特征的位移；以及基于所估计的特征的位移确定图像传感器的位移。

在一些方面，图像传感器是被定位在表面上的计算机鼠标的一部分。位移被提供给计算机以更新计算机显示的内容。在一些方面，数据是从第一图像的像素子集得到的。

在一些方面，使用从第一图像得到的数据执行训练的机器学习模型包括：将第一图像的像素数据提供给训练的机器学习模型；以及操作训练的机器学习模型来执行：基于像素数据计算第一图像与参考图像之间的互相关值分布，互相关值分布与一组候选位移相对应；基于互相关值分布对该组候选位移进行插值；以及基于插值的结果估计位移。

在一些方面，使用从第一图像得到的数据执行训练的机器学习模型包括：生成第一图像与参考图像之间的互相关值分布，互相关值分布与一组粗略候选位移相对应，每个粗略候选位移具有像素精度；将互相关值分布提供给训练的机器学习模型；以及操作训练的机器学习模型以基于互相关值分布计算具有子像素精度的精细估计位移。

在一些方面，该方法还包括：从一组粗略候选位移中选择与互相关值分布的峰值互相关值相对应的粗略候选位移。基于所选择的粗略候选位移和精细估计位移来生成估计位移。

在一些方面，机器学习模型包括人工神经网络。人工神经网络包括全连接的神经网络、卷积神经网络，或全连接的神经网络和卷积神经网络的组合。

在一些方面，该方法还包括：基于操作条件从多个机器学习模型中选择用于估计特征的位移的机器学习模型。将从第一图像得到的数据提供给所选择的机器学习模型以生成输出。在一些方面，操作条件包括以下中的至少一个：表面的类型或图像传感器的配置。

在一些方面，基于训练数据集训练机器学习模型，该训练数据集包括：一组参考图像；与该组参考图像配对的一组位移图像；以及该组参考图像与该组位移图像之间的一组特征的位移。

在一些方面，基于训练数据集训练机器学习模型，该训练数据集包括：一组参考图像与和该组参考图像配对的一组位移图像之间的一组互相关值；以及该组参考图像与该组位移图像之间的一组特征的位移。