[发明专利]三维(3D)辅助个性化家庭对象检测

权利要求书

1.一种用于对象检测的计算机实现的方法，包括：

从多个视图接收包括所述对象的二维(2D)图像集合的一个或多个训练数据集，其中，所述2D图像集合针对所述一个或多个训练数据集中的每一个是以不同的设置捕获的；

基于重建期间选择的所述对象的显著点，从所述一个或多个训练数据集中的每一个中的所述2D图像集合重建3D模型集合，以生成所述对象的一个或多个显著3D模型，所述显著3D模型是所述3D模型集合中的所述对象的所述显著点的聚合；

在所述一个或多个训练数据集的第一训练数据集中的所述对象的所述2D图像集合与使用所述第一训练数据集生成的所述对象的所述显著3D模型之间生成训练的2D-3D对应数据的集合；以及

使用通过所述第一训练数据集生成的所述训练的2D-3D对应数据的集合来训练深度神经网络，以用于对象检测和分割。

2.根据权利要求1所述的计算机实现的方法，还包括：

计算所述3D模型集合中每个匹配的3D模型集合的匹配的3D点集合；

计算六自由度(6DoF)的旋转和平移，以转换所述匹配的3D模型集合。

细化所述6DoF的旋转和平移，以将所述3D模型中的每一个对齐到统一的3D世界坐标系中，并且通过对齐所述3D模型集合中的所述3D模型中的每一个生成统一的3D模型；以及

使用所述深度神经网络确定所述对象的3D显著部分集合，以生成所述对象的所述显著3D模型。

3.根据权利要求1至2中任一项所述的计算机实现的方法，其中，所述3D模型是所述对象的3D点云，并且所述3D点云中的每一个点都记录了所述点在3D空间中的3D坐标；以及

所述计算机实现的方法还包括：从所述3D点云中的每一个点计算特征表示，作为基于相应2D图像中相应像素的视觉外观计算的特征向量。

4.根据权利要求1至3中任一项所述的计算机实现的方法，还包括：删减所述训练的2D-3D对应数据的集合，以减少所述2D图像集合中的噪声。

5.根据权利要求1至4中任一项所述的计算机实现的方法，其中，训练所述深度神经网络包括：

接收所述训练的2D-3D对应数据的集合；

使用所述深度神经网络处理所述训练的2D-3D对应数据的集合，以生成所述2D-3D对应数据的2D点；

使用损失函数计算所述2D点和地面真值2D点之间的损失；

基于所计算的损失计算梯度；以及

基于所计算的损失和所计算的梯度更新网络参数。

6.根据权利要求1至5中任一项所述的计算机实现的方法，还包括：在对象检测网络上接收一个或多个新的2D图像，所述对象检测网络生成对象边界框作为所述训练的深度神经网络的输入。

7.根据权利要求1至6中任一项所述的计算机实现的方法，还包括：

使用所述训练的深度神经网络检测在所述对象边界框中识别的所述对象，而无需执行所述一个或多个新的2D图像的3D重建；以及

输出通过所述训练的深度神经网络检测到的所述对象的定位信息和表面坐标。

8.根据权利要求1至7中任一项所述的计算机实现的方法，其中，所述训练的深度神经网络通过以下方式处理所述对象边界框，

将所述一个或多个新的2D图像卷积，以提取特征，提取的特征形成特征图；

通过将区域建议方法应用于所述特征图来创建感兴趣区域(Rols)；

通过对齐所述特征图和对象特征图的边界来提供所述一个或多个2D图像的所述Rols和所述特征图，以细化所述Rols；以及

基于所细化的Rols输出所述对象的所述定位信息和分类结果，其中所述定位信息定义了所述对象在所述图像中的位置，并且所述分类结果估计了所述对象的所述表面坐标。