[发明专利]一种基于拇指甲标定的食物图像体积计算方法

权利要求书

1.一种基于拇指甲标定的食物图像体积计算方法，其特征在于，包括以下步骤：

(1)获取三视图得出拇指甲以及目标食物的外轮廓信息；

(2)求取拇指甲的实际宽度跟图像的映射关系；

(3)求取目标食物跟图像的映射关系；

(4)求得目标食物的实际体积；

其中，在步骤(1)中，包括以下步骤：

A1、收集拇指甲、拇指以及食物的图像；

A2、将图像作为数据集训练得到物体种类与其外轮廓的识别预测模型；

A3、使用所述识别预测模型测试实际拍摄的三视图，得出拇指甲和目标食物的外轮廓坐标以及矩形识别框的坐标信息；

在步骤(2)中，包括以下步骤：

B1、设置拇指甲的实际宽度参考值w_t；

B2、利用拇指的外轮廓信息，求出拇指外轮廓最小外接矩形的中位线，计算拇指的摆放角度；

B3、测算拇指在图像上的摆放角度，结合拇指甲的外轮廓信息，求得拇指甲宽度对应在图像中w_x个像素；

B4、根据拇指甲的实际宽度，计算求得实际1厘米在图像上对应α个像素；

在步骤(3)中，包括以下步骤：

C1、利用对目标食物的外轮廓坐标和掩膜信息，进行投影和二值化处理；

C2、对投影图进行切分，当切分过程步长足够小时，每一份切分的投影近似于矩形，其面积等于步长乘以对应分切线与外轮廓交点的距离；

C3、对正视图以步长β个像素均匀切分，得到γ份，每一份投影的像素之和s_Fi除以α_F的平方得到对应的实际真实投影面积；其中，所述α_F为正视图实际1厘米对应图像像素的个数；每一份实际真实投影面积之和就是目标食物在真实环境下的正视图面积；

C4、对俯视图以步长η个像素均匀切分，得到γ份，每一份投影的像素之和s_Ti除以η近似等于对应分切线与外轮廓交点的距离d_Ti，d_Ti除以α_T得到对应的实际真实投影的宽度；其中，所述α_T为俯视图实际1厘米对应图像像素的个数；

在步骤(4)中，包括以下步骤：

D1、切分正视图以及俯视图的过程，每一份切割的投影近似一个矩形，将矩形组合成片状的长方体；

D2、计算侧视图的总面积S_s；

D3、根据侧视图像经过识别预测模型的实例分割结果，得出目标食物矩形识别框的长和宽；

D4、运用每个长方体截面对该矩形识别框的比例关系，以及目标食物每份切分截面对侧视图投影的形状近似关系，对若干个长方体进一步收敛；对若干个收敛后的长方体的体积进行累计，得出目标食物的实际体积。

2.根据权利要求1所述的一种基于拇指甲标定的食物图像体积计算方法，其特征在于，在步骤A1中，通过爬虫技术在网上爬取多种菜品图像，将菜品、拇指以及拇指甲共同作为识别类；其中，使用20种菜品，每种菜品为2000张照片，拇指以及拇指甲样本均为1000张。

3.根据权利要求2所述的一种基于拇指甲标定的食物图像体积计算方法，其特征在于，在步骤A2中，首先，使用Mask R-CNN结构网络训练多种食物图像、拇指图像以及拇指甲图像；接下来，经过100次迭代，每次迭代样本量为2000，从而得到食物、拇指以及拇指甲的识别预测模型。