[发明专利]2D图片集转3D模型的方法、存储介质和装置

权利要求书

1.一种2D图片集转3D模型的方法，其特征在于，所述2D图片集至少包括一张图片，所述方法包括：

步骤11：通过深度学习算法识别所述2D图片集中每张图片所包含每个对象的类别以及每个对象的轮廓信息；

步骤12：通过计算机视觉算法提取所述2D图片集中每张图片中每个对象的细节特征信息，所述细节特征信息至少包括每个对象的纹理信息、颜色特征信息和形状特征信息；

步骤13：基于每个对象的类别、形状特征信息、轮廓信息匹配3D模型，匹配成功的3D模型为该对象的3D模型；

步骤14：将每个匹配成功的对象的纹理信息和颜色特征信息映射到该对象的3D模型上；

其中，所述步骤11包括：

步骤111：将所述2D图片集中的任一图片输入卷积神经网络，所述卷积神经网络输出所述任一图片的n级特征图P1…Pn，n≥2；

步骤112：通过区域建议网络定位所述P1…Pn中的目标候选区域，每个候选区域至少包含一个候选框；

步骤113：当任一所述候选区域包括至少两个候选框时，采用非极大值抑制算法筛选每个候选区域的候选框，保留其中前景分数最高的候选框，并舍弃其他候选框；

步骤114：对于所述P1…Pn中的每个候选框，将其分割为第一预设尺寸的池化单元，通过最大池化提取每个子单元的特征值后输出池化后的P1…Pn；

步骤115：将所述池化后的P1…Pn映射为全连接特征，在所述全连接特征上识别每个候选框的对象类别，并缩小候选框尺寸；

步骤116：通过全卷积网络识别每个所述缩小候选框区域内的对象的轮廓信息。

2.根据权利要求1所述的方法，其特征在于，所述步骤11之前还包括：

步骤10：提取2D视频中的关键帧作为所述2D图片集中的图片。

3.根据权利要求2所述的方法，其特征在于，所述步骤10包括：

步骤101：解码2D视频，获取所述2D视频的所有静态帧；

步骤102：聚类分析所述所有静态帧，提取每个聚类中熵最大的静态帧为该聚类的关键帧。

4.根据权利要求1所述的方法，其特征在于，所述卷积神经网络包括残差网络和特征金字塔网络，所述残差网络的3X 3的卷积采用深度可分离卷积替代。

5.根据权利要求4所述的方法，其特征在于，所述特征金字塔网络包含第一金字塔和第二金字塔，所述第一金字塔从底层至顶层的输出依次输入所述第二金字塔的顶层至底层。

6.根据权利要求1所述的方法，其特征在于，所述细节特征信息还包括：所述2D图片是否为对象的单独目标帧。

7.根据权利要求1所述的方法，其特征在于，所述步骤12包括：

步骤121：通过超像素和/或阈值分割方法定位所述2D图片集中任一图片中的对象；如果所述任一图片只包含一个对象，则所述任一图片为所述对象的单独目标帧；

步骤122：基于每个对象在所述任一图片中的定位信息，利用Tamura纹理特征算法和小波变换提取每个对象的纹理，利用颜色直方图匹配提取每个对象的颜色特征信息，利用几何参数法提取每个对象的形状特征信息。

8.根据权利要求6所述的方法，其特征在于，所述步骤13还包括：如果匹配失败，则执行步骤131；

步骤131：基于匹配失败的对象的单独目标帧，构建该对象的3D模型。