[发明专利]一种文娱图片自动生成系统、方法、计算机设备及可读存储介质

权利要求书

1.一种文娱图片自动生成系统，其特征是，包括模型库构建模块、图片属性库建立模块与图片自动生成模块；

模型库构建模块被配置为能够构建检测模型，图片属性库建立模块被配置为能够使用构建的模型对每张图片进行标签预测，每张图片以及其通过模型预测得到各个标签构成了图片属性库，图片自动生成模块被配置为能够自动生成相应的文娱图片。

2.一种文娱图片自动生成方法，其特征是，采用权利要求1所述的文娱图片自动生成系统，包括以下步骤：

(1)构建模型库；

(2)建立图片属性库；

(3)自动生成文娱图片。

3.根据权利要求2所述的一种文娱图片自动生成方法，其特征是，步骤(1)中，构建人脸检测、人脸姿态估计、人体姿态估计、人体完整性判断、明星识别、年龄识别、人体分割模型。

4.根据权利要求3所述的一种文娱图片自动生成方法，其特征是，步骤(1)中，人体姿态估计与人体完整性判断模型的构建：

(1.1)准备人物图片；

(1.2)使用在COCO数据集上训练的开源YOLOv5模型对步骤(1.1)中的图片进行人体检测，去掉多人的图片，只保留单人的图片；

(1.3)对步骤(1.2)中得到的图片使用训练好的开源AlphaPose模型进行人体关键点检测，根据人体关键点信息对人体姿态和完整性进行自动预标注，其中人体姿态分为坐、站立、躺和其他四个类别，完整性分为大头照、半身照、全身照以及其他四个类别；

(1.4)对步骤(1.3)预标注的结果进行检查和修改，得到用于模型训练和测试的数据集；

(1.5)在步骤(1.4)得到的训练集上使用multi-task框架训练EfficientNet模型，模型的最终损失函数为L_total＝λ₁L_pose+λ₂L_completion，其L_pose表示人体姿态判断的损失函数，L_completion表示人体完整性判断的损失函数，L_pose和L_completion都采用交叉熵损失函数，λ₁和λ₂分别是L_pose和L_completion的权重参数，设置λ₁＝λ₂＝1；

交叉熵损失函数为：

其中，N为样本数，C为类别数，是第i个样本的标签的onehot编码表示，指的是预测的第i个样本的各个标签的概率值，k＝0～C-1；

模型训练过程中，参数设置：Batch size为32，初始learning rate为0.01，weightdecay为1e^-5，momentum为0.9；模型训练至收敛即可；

(1.6)预测时，将图片输入步骤(1.5)训练好的EfficientNet，分别得到人体姿态预测值和人体完整性预测值。

5.根据权利要求3所述的一种文娱图片自动生成方法，其特征是，步骤(1)中，明星识别模型的构建：

(1.1)准备明星图片；

(1.2)对步骤(1.1)中准备的明星图片进行人工筛选和过滤；

(1.3)在步骤(1.2)中得到的数据集上训练人脸识别模型，采用ResNet50+CircleLoss；

(1.4)在步骤(1.2)中得到的数据集为每个明星挑选不同角度的若干张图片，使用人脸检测模型CenterFace提取这些图片中的人脸区域，将它们输入步骤(1.3)中训练好的模型提取特征X＝{x₁，...，x₁₀}，然后计算这些特征的平均值得到每个明星的特征；

(1.5)预测时，对每一张传入的图片，先进行人脸检测得到人脸区域，然后将其输入步骤(1.3)中训练好的模型提取特征，然后计算该特征与步骤(1.4)中得到的明星特征库中的各特征的欧式距离，欧式距离最小的特征所对应的明星即为可能的候选明星，该最小欧式距离小于预设的阈值，则匹配成功，返回对应明星的姓名，否则，表示该图片与库中的明星都不匹配。