[发明专利]一种基于多任务学习的人脸状态判断方法和系统

说明书

本发明涉及一种基于多任务学习的人脸状态判断方法和系统，属于图像处理技术领域，用以解决缺乏人脸状态美感判断数据集和相关的算法，无法有效进行人脸状态判断的问题，方法包括以下步骤：分别获取人脸状态美感判断数据集和人脸表情识别数据集；构建基于自注意力机制的多任务学习模型；基于所述人脸状态美感判断数据集和人脸表情识别数据集，采用交替‑联合训练方法对所述多任务学习模型进行训练，得到训练好的多任务学习模型；所述多任务包括人脸状态美感判断任务和人脸表情识别任务；将待判断的人脸图像输入所述多任务学习模型，得到所述人脸图像的人脸状态判断结果。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于多任务学习的人脸状态判断方法和系统。

背景技术

随着人工智能等技术不断发展，人工智能的市场规模逐渐扩大。据艾瑞咨询发布的《2021年中国智能产业研究报告（IV）》显示，2021年人工智能的核心规模估计达到1998亿元，到2026年，将超过6000亿元。人工智能技术深刻地改变了人类的生活方式和生产方式，新闻生产与人工智能结合后能够极大地提高新闻生产的效率。机器生产内容(MachineGenerated Content，MGC)，即利用机器智能生产的新闻，多家媒体机构开发了生产MGC新闻的智能产品、智能平台，例如新华社的“媒体大脑”、光明网的智能发稿系统等等。

传统图文报道中的新闻配图通常由摄影记者拍摄。但是由于直播活动很多，直播现场可能缺少摄影记者。摄影记者拍摄新闻图片时会受到空间的限制，可能无法从合适的角度拍照，比如无法获得摇臂摄像机的角度进行拍摄，又或者最佳的机位被摄影师占据。此外，摄影记者也无法在演播室内拍照。在图文新闻生产中的配图素材采集环节，运用人工智能技术直接对直播视频流进行分析，获得新闻的配图能够有效补充摄影记者的短板，扩大新闻配图的取材范围。新闻配图的中景、近景和人脸特写中，人脸的状态十分重要。人脸的状态判断包括人脸状态美感判断和人脸表情识别，其中，人脸状态美感判断任务是挑选出人脸状态佳、适合出现在新闻配图中的“Nice”人脸图像，尽可能筛除人脸状态美感较差的“Unsatisfied”人脸，但是目前尚缺乏人脸状态美感判断数据集和相关的算法，无法有效进行人脸状态判断。

发明内容

鉴于上述的分析，本发明实施例旨在提供一种基于多任务学习的人脸状态判断方法和系统，用以解决缺乏人脸状态美感判断数据集和相关的算法，无法有效进行人脸状态判断的问题。

一方面，本发明实施例提供了一种基于多任务学习的人脸状态判断方法，包括以下步骤：

分别获取人脸状态美感判断数据集和人脸表情识别数据集；

构建基于自注意力机制的多任务学习模型；基于所述人脸状态美感判断数据集和人脸表情识别数据集，采用交替-联合训练方法对所述多任务学习模型进行训练，得到训练好的多任务学习模型；所述多任务包括人脸状态美感判断任务和人脸表情识别任务；

将待判断的人脸图像输入所述多任务学习模型，得到所述人脸图像的人脸状态判断结果。

基于上述技术方案的进一步改进，所述基于自注意力机制的多任务学习模型包括共享特征提取模块、自注意力机制模块和多任务学习模块；

所述共享特征提取模块用于提取图像特征；

所述自注意力机制模块用于为提取的图像特征赋予权重，得到加权图像特征；

所述多任务学习模块包括人脸状态美感判断子模块和人脸表情识别子模块；所述人脸状态美感判断子模块用于根据所述加权图像特征进行人脸状态美感判断；所述人脸表情识别子模块用于根据所述加权图像特征进行人脸表情识别。

进一步地，所述采用交替-联合训练方法对所述多任务学习模型进行训练，包括：

根据所述人脸状态美感判断数据集和所述人脸表情识别数据集的大小，分别计算所述人脸状态美感判断任务和人脸表情识别任务的batch-size；