[发明专利]基于图像的菜肴识别装置和方法

说明书

提供了一种用于执行基于图像的菜肴识别的计算机实现方法。该方法包括：获取(202)描绘待识别菜肴的第一图像；使用预测模型分析(204)第一图像以确定第一候选主题；获取(206)菜肴标识符的参考集合；针对参考集合中的每个菜肴标识符，计算(208)指示由相应的菜肴标识符表示的菜肴与第一候选主题之间相似度的关联分数；选择(210)参考集合中具有最高关联分数的一个或多个菜肴标识符作为第一候选主题的一个或多个变体菜肴标识符；以及输出(212)第一候选主题的形心菜肴标识符和第一候选主题的一个或多个变体菜肴标识符。

技术领域

本公开涉及基于图像的菜肴识别装置和方法。

背景技术

目前市场上有许多饮食记录系统可用于监测个体的营养摄入。这些系统通常依赖于接收用户输入以记录所消耗的食物，该过程需要大量的人类交互以及一定程度的能力，并且从用户获得动力。为了达到期望的有效水平，用户必须准确且持久地记录所消耗的菜肴。

发明内容

如上所述，饮食记录系统的用户需要准确且持久地输入和/或记录他们消耗的菜肴。因此，提供一种用户友好且直观的记录工具，以提高用户坚持每天输入和/或记录所消耗食物的习惯的能力的可能性是非常重要的。实现用户友好性和直观性的关键因素之一是系统在最少量的用户交互步骤内正确地响应用户意图的能力。

为此，可以利用机器学习和深度学习过程来改善对用户意图的理解，同时减少所需要的用户输入和/或记录菜肴干预量。尽管机器学习过程(诸如涉及神经网络的过程)可以用于从大量标记的训练数据中提取在一个类别内常见且不同于其它类别的模式，但对于许多食品来说，诸如中式烹饪菜肴，缺乏与食品相关联的明确定义或规范，这可能会导致类别规范问题。例如，一些菜肴可能由相似的食物成分组成和/或具有相似的外观但名称不同，并且一些具有相似名称的菜肴可能具有明显不同的食物成分。为此，通常难以以精细粒度指定互斥类别的集合，并且难以基于这样的集合收集示例性数据。类别定义之间的重叠或训练数据的实际重叠可能产生机器学习中的混淆并导致不准确的分类，这在使用中可能会导致用户的挫败感。然而，如果类别定义相差较大，并且仅收集高度代表性的数据以避免重叠，会导致菜肴识别中的高特异性和低灵敏度——这是不期望的，因为系统将不适合识别现实生活中丰富多样的菜肴。因此，提供一种用户友好的基于图像的菜肴识别方法将是有利的，该方法可以准确地识别用户输入(即高召回率)，并且还能够响应用户输入的变化(即高特异性)。

为了更好地解决前面提到的一个或多个问题，在第一方面，提供了一种基于图像的菜肴识别计算机实现方法。该方法包括：获取描绘待识别菜肴的第一图像；使用预测模型分析第一图像以确定第一候选主题，其中，第一候选主题包括多个候选菜肴标识符，每个候选菜肴标识符与候选菜肴相关联，候选菜肴标识符中的一个是与最能代表第一候选主题的候选菜肴相关联的形心菜肴标识符；获取菜肴标识符的参考集合；针对参考集合中的每个菜肴标识符，计算指示由相应的菜肴标识符表示的菜肴与第一候选主题之间相似度的关联分数；选择参考集合中具有最高关联分数的一个或多个菜肴标识符作为第一候选主题的一个或多个变体菜肴标识符；以及输出第一候选主题的形心菜肴标识符和第一候选主题的一个或多个变体菜肴标识符。

在一些实施例中，输出第一候选主题的形心菜肴标识符和第一候选主题的一个或多个变体菜肴标识符包括：显示第一候选主题；以及在接收到扩展第一候选主题的用户输入时，显示第一候选主题的形心菜肴标识符和第一候选主题的一个或多个变体菜肴标识符。在这些实施例中，第一候选主题的形心菜肴标识符可以显示在第一候选主题的一个或多个变体菜肴标识符上方，并且第一候选主题的一个或多个变体菜肴标识符可以按照相应的关联分数降序显示。

在一些实施例中，第一候选主题中的多个候选菜肴标识符可以表示彼此相似的菜肴。

在一些实施例中，该方法还可以包括：使用预测模型分析第一图像，以确定一个或多个附加候选主题。在这些实施例中，每个附加候选主题可以包括多个候选菜肴标识符，每个候选菜肴标识符与候选菜肴相关联，候选菜肴标识符中的一个是最能代表相应候选主题的形心菜肴标识符。此外，该方法还可以包括输出一个或多个附加候选主题。