[发明专利]经由单应性变换适应的全卷积兴趣点检测和描述

权利要求书

1.一种训练用于图像兴趣点检测和描述的神经网络的方法，所述方法包括：

生成包括多个参考集的参考数据集，其中，所述多个参考集中的每一者包括：

图像；以及

与所述图像相对应的参考兴趣点集；以及

对于所述多个参考集中的每个参考集：

通过将单应性变换应用于所述图像，生成扭曲图像；

通过将所述单应性变换应用于所述参考兴趣点集，生成扭曲参考兴趣点集；

通过所述神经网络接收所述图像作为输入，计算一计算兴趣点集和计算描述符；

通过所述神经网络接收所述扭曲图像作为输入，计算一计算扭曲兴趣点集和计算扭曲描述符；

基于所述计算兴趣点集、所述计算描述符、所述计算扭曲兴趣点集、所述计算扭曲描述符、所述参考兴趣点集、所述扭曲参考兴趣点集、和所述单应性变换来计算损失；以及

基于所述损失来修改所述神经网络。

2.根据权利要求1所述的方法，其中，所述神经网络包括兴趣点检测器子网络和描述符子网络，其中：

所述兴趣点检测器子网络被配置为接收所述图像作为输入，并基于所述图像计算所述计算兴趣点集；以及

所述描述符子网络被配置为接收所述图像作为输入，并基于所述图像计算所述计算描述符。

3.根据权利要求2所述的方法，其中，基于所述损失来修改所述神经网络包括：基于所述损失来修改所述兴趣点检测器子网络和所述描述符子网络中的一者或两者。

4.根据权利要求2所述的方法，进一步包括：

在生成所述参考数据集之前，使用包括多个合成图像和多个合成兴趣点集的合成数据集来训练所述兴趣点检测器子网络，其中，生成所述参考数据集包括使用所述兴趣点检测器子网络来生成所述参考数据集。

5.根据权利要求1所述的方法，其中，生成所述参考数据集包括：

对于所述多个参考集中的每个参考集：

从包括多个未标记图像的未标记数据集中获得所述图像；

通过将多个单应性变换应用于所述图像，生成多个扭曲图像；

通过所述神经网络接收所述多个扭曲图像作为输入，计算多个计算扭曲兴趣点集；

通过将多个逆单应性变换应用于所述多个计算扭曲兴趣点集，生成多个计算兴趣点集；以及

聚合所述多个计算兴趣点集以获得所述参考兴趣点集。

6.根据权利要求1所述的方法，其中，所述多个参考集中的每一者进一步包括与所述图像相对应的参考描述符，并且其中，生成所述参考数据集包括：

对于所述多个参考集中的每个参考集：

从包括多个未标记图像的未标记数据集中获得所述图像；

通过将多个单应性变换应用于所述图像，生成多个扭曲图像；

通过所述神经网络接收所述多个扭曲图像作为输入，计算多个所计算扭曲描述符；

通过将多个逆单应性变换应用于所述多个计算扭曲描述符，生成多个计算描述符；以及

聚合所述多个计算描述符以获得所述参考描述符。

7.根据权利要求1所述的方法，其中，所述参考兴趣点集是二维图，所述二维图具有与所述图像的特定像素具有位于所述特定像素处的兴趣点的概率相对应的值。

8.一种使用神经网络执行图像兴趣点检测和描述的方法，所述方法包括：

捕获第一图像；

捕获第二图像；

通过所述神经网络接收所述第一图像作为输入，计算第一计算兴趣点集和第一计算描述符；

通过所述神经网络接收所述第二图像作为输入，计算第二计算兴趣点集和第二计算描述符；以及

基于所述第一计算兴趣点集和所述第二计算兴趣点集以及所述第一计算描述符和所述第二计算描述符，确定所述第一图像和所述第二图像之间的单应性变换；

其中，所述神经网络包括：

兴趣点检测器子网络，其被配置为计算所述第一计算兴趣点集和所述第二计算兴趣点集；以及

描述符子网络，其被配置为计算所述第一计算描述符和所述第二计算描述符。