[发明专利]一种照片书的照片图像自动填充方法及系统

权利要求书

1.一种照片书的照片图像自动填充方法，其特征在于，包括步骤：

将待填充照片图像输入到预先训练好的显著特征提取卷积神经网络中进行卷积计算，得到包含待填充照片图像显著信息区域的特征图，记为卷积特征图；所述显著特征提取卷积神经网络，是能够提取照片图像的显著信息区域并且能够提取预先设定类型的照片图像的显著信息区域的卷积神经网络；所述预先设定类型的照片图像的类型种类至少为两种；

扫描所得到的卷积特征图，获取卷积特征图上所有显著信息区域的最小外接矩形，记为第一外接矩形；

获取用于填充待填充图像的照片书模板相框的外接矩形，记为第二外接矩形；

将第一外接矩形与第二外接矩形进行比较，根据比较结果对待填充照片图像进行调整与填充，使待填充照片图像的显著信息区域显示在所述照片书模板相框中。

2.根据权利要求1所述的照片书的照片图像自动填充方法，其特征在于，所述将第一外接矩形与第二外接矩形进行比较，根据比较结果对待填充照片图像进行调整与填充，使待填充照片图像的显著信息区域显示在所述照片书模板相框中，具体实现方法包括：

判断第一外接矩形是否能够被第二外接矩形完全覆盖：

若是，则将所述待填充照片图像填充在所述照片书模板相框中；

若否，则对待填充照片图像进行等比例缩小与填充，并使待填充照片图像上的显著信息区域填充在所述照片书模板相框中。

3.根据权利要求1所述的照片书的照片图像自动填充方法，其特征在于，训练所述显著特征提取卷积神经网络的方法包括：

预先自定义上述预先设定类型的照片图像的显著信息区域；

根据预先自定义的照片图像的显著信息区域，对训练集中的照片图像进行显著信息区域标注；所述训练集，包含上述预先设定类型中的各种类型的照片图像；

采集所标注的各显著信息区域构建显著区域标注数据集；

创建基于深度学习的卷积神经网络模型；

采用构建的显著区域标注数据集，训练所创建的卷积神经网络模型，得到初步训练好的显著特征提取卷积神经网络；

采用预先设定好的验证集，对初步训练好的显著特征提取卷积神经网络进行测试调整，得到训练好的显著特征提取卷积神经网络。

4.根据权利要求1-3中任一项所述的照片书的照片图像自动填充方法，其特征在于，所述预先设定类型的照片图像，包括人物照片、美食照片、宠物照片和风景照片中的至少两种，并且均包含实际应用场景。

5.一种照片书的照片图像自动填充系统，其特征在于，包括：

卷积特征图获取单元，用于将待填充照片图像输入到预先训练好的显著特征提取卷积神经网络中进行卷积计算，得到包含待填充照片图像显著信息区域的特征图，记为卷积特征图；所述显著特征提取卷积神经网络，是能够提取照片图像的显著信息区域并且能够提取预先设定类型的照片图像的显著信息区域的卷积神经网络；所述预先设定类型的照片图像的类型种类至少为两种；

显著信息区域外接矩形获取单元，用于扫描所得到的卷积特征图，获取卷积特征图上所有显著信息区域的最小外接矩形，记为第一外接矩形；

照片书模板相框外接矩形获取单元，用于获取用于填充待填充图像的照片书模板相框的外接矩形，记为第二外接矩形；

图像填充单元，用于将第一外接矩形与第二外接矩形进行比较，根据比较结果对待填充照片图像进行调整与填充，使待填充照片图像的显著信息区域显示在所述照片书模板相框中。

6.根据权利要求5所述的照片书的照片图像自动填充系统，其特征在于，所述图像填充单元包括：

判断模块，用于判断第一外接矩形是否能够被第二外接矩形完全覆盖；

第一图像填充模块，与判断模块相连，用于在判断模块判定第一外接矩形能够被第二外接矩形完全覆盖时，将填充照片图像填充到第二外接矩形中；

第二图像填充模块，与判断模块相连，用于在判断模块判定第一外接矩形不能被第二外接矩形完全覆盖时，对待填充照片图像进行等比例缩小与填充，并使待填充照片图像上的显著信息区域填充在所述照片书模板相框中。