[发明专利]一种基于深度学习的食物识别方法和装置

权利要求书

1.一种基于深度学习的食物识别方法，其特征在于，包括：

获取待识别图像；

利用预先构建好的第一神经网络对所述待识别图像进行食物识别，将包含食物的待识别图像确定为第一识别图像；

利用预先构建好的第二神经网络对所述第一识别图像进行食物目标检测，确定食物在所述第一识别图像中的位置参数，其中，所述位置参数包括所述食物的坐标、所述第一识别图像中食物所在区域的长度和宽度；

根据所述第一识别图像和所述位置参数，确定第二识别图像；

利用预先构建好的第三神经网络对所述第二识别图像进行食物识别，确定食物的名称；

所述待识别图像是由可旋转摄像头至少从位于所述食物上方的若干个位置拍摄获得；

在所述获取待识别图像之后，进一步包括：

获取待测食物的质量；

利用预先构建好的食物空间参量模型对所述待识别图像进行识别，得到所述待测食物的空间参量，其中，所述空间参量用于表征所述待测食物的三维轮廓；

利用预先构建好的食物色泽识别模型对所述待识别图像进行识别，得到所述待测食物的色泽；

根据所述待测食物的质量、空间参量和色泽，确定所述待测食物的品质；

所述可旋转摄像头包括第一相机和第二相机，其中，所述第一相机与所述第二相机的相机内部参数相同、光轴互相平行，所述第一相机的第一相机坐标系与所述第二相机的第二相机坐标系的X轴相互重合，所述第一相机坐标系与所述第二相机坐标系的Y轴相互平行，所述第一相机坐标系的原点和所述第二相机坐标系的原点在X轴的距离为b，所述第一相机坐标系以所述第一相机的光心为原点，以所述光轴为Z轴建立的三维直角坐标系，所述第二相机坐标系以所述第二相机的光心为原点，以所述光轴为Z轴建立的三维直角坐标系，当所述可旋转摄像头对所述待测食物进行拍摄时，将所述第一相机和所述第二相机的光轴之间的夹角设定为度；

所述食物空间参量模型是通过如下方式进行构建：

获取预先设置的若干个标准食物的标准图像，其中，每一个所述标准食物的标准图像为若干张；

针对每一个标准食物，均执行：

A1、确定当前标准食物的任一空间点在该标准食物中每一张所述标准图像的投影点坐标、在所述第一相机坐标系中的第一坐标以及在所述第二相机坐标系中的第二坐标；

A2、根据所述第一坐标和所述第二坐标的对应关系，得到用于表征所述第一坐标的第一公式，其中，所述对应关系为：

所述第一公式为：；

A3、根据当前空间点和所述投影点坐标的中心射影关系，得到第二公式，所述第二公式为：

其中，所述用于表征所述第一相机在X轴的像素焦距，所述用于表征所述第一相机在Y轴的像素焦距，所述为所述标准图像的中心像素坐标，为所述第一相机的线性模型参数，分别用于表征所述标准图像的中心像素坐标和所述标准图像的原点像素坐标之间的横向像素值和纵向像素值，为所述第二相机的线性模型参数，分别用于表征所述标准图像的中心像素坐标和所述标准图像的原点像素坐标之间的横向像素值和纵向像素值；

A4、根据所述第一公式和所述第二公式，得到用于表征该空间点在所述第一相机坐标系中的第三公式，所述第三公式为：

A5、根据所述第三公式，确定当前标准食物的每一个空间点在所述第一相机坐标系中对应的坐标；

根据每一个所述标准食物中的每一个空间点在所述第一相机坐标系中对应的坐标，得到食物空间参量模型；

所述对所述第一识别图像进行食物识别，确定食物在所述第一识别图像中的位置参数，包括：

对所述第一识别图像进行六次特征提取，得到第一高维特征图；

对所述第一识别图像进行一次特征提取，得到第一低维特征图；

对所述第一识别图像进行三次特征提取，得到第二低维特征图；

对所述第一识别图像进行五次特征提取，得到第三低维特征图；

将所述第一高维特征图、所述第一低维特征图、所述第二低维特征图和所述第三低维特征图进行特征融合，得到第一融合特征图；

根据所述第一融合特征图，确定食物在所述第一识别图像中的位置参数；

所述根据所述第一融合特征图，确定食物在所述第一识别图像中的位置参数，包括：

对所述第一融合特征图进行特征提取，将特征提取后的特征发送给分类器；

对所述第一融合特征图进行特征提取， 将特征提取后的特征进行三次最大池化，并将三次最大池化后的特征进行特征融合，得到第二融合特征图；

对所述第二融合特征图进行特征提取，将特征提取后的特征发送给位置回归器；

根据所述分类器和所述位置回归器，确定食物在所述第一识别图像中的位置参数。