[发明专利]智能冰箱及食材识别方法

权利要求书

1.一种智能冰箱，其特征在于，包括：摄像头模组、控制器、存储器以及输入输出单元；

所述摄像头模组用于对目标食材进行图像采集，所述目标食材为存入所述智能冰箱或从所述智能冰箱取出的食材；

输入输出单元，用于进行信息交互；

所述存储器，用于存储可被所述控制器执行的计算机程序；

所述控制器，分别与所述摄像头模组、所述输入输出单元和所述存储器连接，被配置为：

从所述摄像头模组采集的图像中提取出多种图像特征，对所述多种图像特征进行融合、编码、池化，得到所述目标食材的特征；

在预置的特征库中，检索到所述目标食材的特征后，确定所述目标食材的特征对应的食材描述信息，其中所述食材描述信息包括食材种类、食材名称、加工方式以及食用禁忌中的至少一种；

控制所述输入输出单元输出所述食材描述信息；

若接收到对所述食材描述信息的更正指示，则根据所述目标食材的特征与更正后的食材描述信息更新所述预置的特征库；

其中，所述根据所述目标食材的特征与更正后的食材描述信息更新所述预置的特征库，包括：

在所述预置的特征库中针对所述目标食材已存储至少一种特征时，将提取的目标食材的特征存储至所述预置的特征库中相应的目标食材的特征集合中；

在所述预置的特征库中针对所述目标食材未存储相应的特征时，将基于交互过程获取的目标食材的食材描述信息，以及提取到目标食材的特征存储至所述预置的特征库中。

2.根据权利要求1所述的智能冰箱，其特征在于，所述控制器还被配置为：

若在所述预置的特征库中未检索到与所述目标食材的特征匹配的特征，则控制所述输入输出单元输出食材信息录入请求；

响应于对所述目标食材的食材描述信息的录入操作，将所述目标食材的特征以及所述目标食材的食材描述信息对应存储到所述预置的特征库。

3.根据权利要求1所述的智能冰箱，其特征在于，所述控制器在执行所述从所述图像中提取出多种图像特征时，被配置为：

采用神经网络对所述图像进行特征提取，得到由不同的特征提取层得到的多种图像特征；

其中，训练所述神经网络所采用的样本图片的类别包括多种类别，且所述多种类别中包括非食材类别的图片。

4.根据权利要求1所述的智能冰箱，其特征在于，所述控制器在执行所述从所述图像中提取出多种图像特征时，被配置为：

采用多种特征描述子从所述图像中提取出多种图像特征；和/或，

采用神经网络对所述图像进行特征提取，得到由不同的特征提取层得到的多种图像特征。

5.根据权利要求4所述的智能冰箱，其特征在于，所述神经网络包括依次串联的多个卷积层和多个全连接层；所述控制器在执行所述采用神经网络对所述图像进行特征提取，得到由不同的特征提取层得到的多种图像特征时，被配置为：

分别获取最后两层卷积层得到的图像特征，并获取指定全连接层提取的图像特征；

所述控制器在执行所述对所述多种图像特征进行特征聚合，得到所述目标食材的特征时，被配置为：

将所述两层卷积层得到的图像特征，以及所述指定全连接层提取的图像特征输入给所述指定全连接层之后的一层全连接层进行特征聚合，得到所述目标食材的特征。

6.根据权利要求1-5中任一所述的智能冰箱，其特征在于，所述控制器还被配置为：

控制所述输入输出单元输出所述食材描述信息时，输出所述目标食材的图像。