[发明专利]一种基于深度学习食物图像识别模型的营养管理方法及系统

说明书

本发明属于用餐食物图像数据处理领域，具体涉及一种基于深度学习食物图像识别模型的营养管理方法及系统，该方法包括：用户端获取用户待摄入食物的图像，将获取的食物图像输入到训练好的基于深度学习食物图像识别模型，得到不同种类的食物子图像；计算不同种类食物子图像中所含营养的量，将所有食物中的营养素进行累加，得到该用户各种营养素总摄入量；设置各种营养的摄入阈值，将计算出的各种营养素总摄入量与对应营养素摄入阈值进行对比，得到对比结果；根据对比结果调整摄入食物的种类和数量，完成营养管理；本发明通过将用户上传的食物摄入信息通过服务器和其他数据集关联起来，得到能量、产能营养素比率是否处于适宜推荐量，最后将分析得到的数据反馈给用户，从而促使用户对膳食模式进行改进。

技术领域

本发明属于用餐食物图像数据处理领域，具体涉及一种基于深度学习食物图像识别模型的营养管理方法及系统。

背景技术

随着生活水平的提高，人们越来越重视自己的身体健康，而身体的健康与人体每天摄入的食物息息相关，因此每天膳食的合理性对身体的健康有着重要的作用，而如何判断膳食合理性的关键在于摄入食物种类和量的准确估算。常用的膳食摄入信息获取工具包括称重法、膳食回顾和食物频率法(food frequency questionnaire，FFQ)。称重法要求对每种食物用餐前后都进行称量，从而获得食物种类和份量的信息，该方法虽然准确，但费时、费力、可操作性不强，仅适用于小样本研究。膳食回顾是依靠受试者回忆过去较短时间内摄入的所有食物名称和份量，但是该方法的回顾时间不能太长(通常为24或72h)，否则容易遗忘，而且该方法反映的是短期，而不能长期的反映膳食摄入量；FFQ可以在大样本中使用，能够反映较长时期内食物种类、摄入量和疾病之间的剂量依赖关系；但FFQ的准确性同样依赖于受试者良好的记忆力和受教育程度，并且FFQ评价膳食摄入量的误差可高达50％。因此，急需一种不仅能长时间反映用户摄入的营养信息，而且还能高效准确的评价膳食摄入量的营养管理方法。

发明内容

为解决以上现有技术存在的问题，本发明提出了一种基于深度学习食物图像识别模型的营养管理方法，该方法包括：用户端获取用户待摄入食物的图像，将获取的食物图像输入到训练好的基于深度学习食物图像识别模型，得到不同种类的食物子图像；计算不同种类食物子图像中所含营养的量，将所有食物中的营养素进行累加，得到该用户各种营养素总摄入量；设置各种营养的摄入阈值，将计算出的各种营养素总摄入量与对应营养素摄入阈值进行对比，得到对比结果；根据对比结果调整摄入食物的种类和数量，完成营养管理。

优选的，对基于深度学习食物图像识别模型进行训练的过程包括：

步骤1：获取食物图像数据集，食物图像数据集中的图像包含不同食物的图像；

步骤2：对食物图像数据集中的数据进行预处理，并对预处理后的食物图像进行划分，得到训练集和测试集；

步骤3：采用目标区域检测算法将训练集中的图像分割成各个掩码；

步骤4：对各个掩码进行特征提取，得到各个掩码的全局特征和局部特征，并对每个特征进行个体特征通道分类；

步骤5：采用新的张量特征融合决策算法对通道分类后的全局特征和局部特征进行融合，得到目标框；

步骤6：根据目标框对图像进行分割，得到分割后的食物图像；将食物图像中不同分属和不同食物的像素区域分开，完成食物图像普通分割；

步骤7：判断分割后的食物图像的种类是否相同，若相同，分类出每一块区域的语义，实现食物图像的语义分割，并标记出每种食物图像的类别；若不相同，则将分割后的食物图像作为输入，并返回步骤4；

步骤8：在语义分割的基础上，给每个食物图像编号，实现食物图像实例分割，输出分割后的图像集，完成食物识别。

进一步的，对食物图像数据集中的数据进行预处理包括对食物图像数据集中的图像进行消重、图像补全以及图像增强处理。