[发明专利]跨模态注意力机制的食品营养成分含量预测方法及系统

说明书

本发明公开一种跨模态注意力机制的食品营养成分含量预测方法及系统，包括：对食品图像样本集标注营养成分及含量，以此对预测模型进行训练；对待测食品图像进行多模态特征提取，对每个模态的特征映射图进行注意力映射，得到权重映射图，将任意一个模态的特征映射图与其他模态的权重映射图进行外积，将外积结果与该模态的特征映射图进行相加，以此进行特征融合；根据融合后的特征图，采用预测模型得到待测食品图像中每种营养成分的含量。通过提取食品图像的多模态特征；同时采用注意力多模态特征融合的方式进行营养成分含量的预测，提升预测精度与速度。

技术领域

本发明涉及食品营养评估技术领域，特别是涉及一种跨模态注意力机制的食品营养成分含量预测方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

针对食品营养含量的评估，专业的食品营养评估人员对食品营养含量估计的准确性略有欠缺，同时专业人员不能够满足人们日常食品营养评估的需求。因此，为缓解营养评估专业人员短缺，提高营养评估的准确性和高效性等问题，出现大量智能手机图像的膳食评估应用程序、食品营养估计系统等，例如FatSceret、bitesnap、keenoa，虽然能够粗略的计算卡路里的含量，但是需要人为的称重并手动输入份量等信息，这个过程繁琐、耗时，同时容易出现错误，而且食品种类的识别、重叠以及份量估计都会影响到营养估计的准确性，所以这些应用程序和系统在准确性和高效性上仍然欠缺。

目前，一些端到端的食品营养估计的方法，基于单张RGB图像进行营养含量的估计，或者是将RGB和深度图像进行简单的相加，以预测卡路里、质量、碳水、蛋白质以及脂肪的含量。虽然证明了基于食物图像进行营养评估的可行性，但是未能充分挖掘用于营养预测的图像特征，没有得到更鲁棒性的预测结果。再者这些方法需要一系列复杂的操作，存在步骤繁琐、速度慢等问题。在营养评估准确度、速度等方面，现有的方法不能够满足端到端的、快速有效的营养评估的要求。

发明内容

为了解决上述问题，本发明提出了一种跨模态注意力机制的食品营养成分含量预测方法及系统，通过提取食品图像的多模态特征；同时采用注意力多模态特征融合的方式进行营养成分含量的预测，提升预测精度与速度。

为了实现上述目的，本发明采用如下技术方案：

第一方面，本发明提供一种跨模态注意力机制的食品营养成分含量预测方法，包括：

对食品图像样本集标注营养成分及含量，以此对预测模型进行训练；

对待测食品图像进行多模态特征提取，对每个模态的特征映射图进行注意力映射，得到权重映射图，将任意一个模态的特征映射图与其他模态的权重映射图进行外积，将外积结果与该模态的特征映射图进行相加，以此进行特征融合；

根据融合后的特征图，采用预测模型得到待测食品图像中每种营养成分的含量。

作为可选择的实施方式，对待测食品图像进行多模态特征提取的过程包括，采用ResNet-101网络为主干网络，提取到四个层级的RGB模态特征和深度模态特征。

作为可选择的实施方式，对待测食品图像进行多模态特征提取的过程包括，将提取的多模态特征经1×1的卷积层降维后，每个模态特征经两个残差卷积单元得到特征映射图。

作为可选择的实施方式，对每个模态的特征映射图进行注意力映射的过程包括，将特征映射图经全局平均池化、1×1卷积重组和激活函数后得到权重映射图。

作为可选择的实施方式，将每个模态分支下的融合特征经过卷积层后进行相加，得到最终的融合特征图，将融合后的特征图经链式残差池进行上下文信息的捕获。

作为可选择的实施方式，所述营养成分包括卡路里、质量、脂肪、蛋白质以及碳水。