[发明专利]基于复杂网络和深度学习的可交互智能冰箱健康服务终端

权利要求书

1.一种基于复杂网络和深度学习的可交互智能冰箱的健康服务方法，其特征在于：包括：

建立可视化用户界面；

采集冰箱内所储存的食材的图像；

根据所采集的冰箱内所储存的食材的图像识别冰箱内所储存的食材种类、数量和/或食材在冰箱内的位置，并呈现于可视化用户界面；和

基于二分复杂网络的饮食推荐方法，根据用户的身体状况信息、饮食记录及时令信息向用户推荐菜品或饮食方案，并呈现于可视化用户界面；

其中，所述根据所采集的冰箱内所储存的食材的图像识别冰箱内所储存的食材种类、数量和/或食材在冰箱内的位置的具体方法为：包括：获取食材的图像，并依据食材名称设定标签，形成带标签的食材图像数据库；在云平台上构建深度卷积神经网络模型；优化处理模型结构和参数；和将采集到的食材信息输入优化后的深度卷积神经网络模型，确定食材种类、数目和/或食材在容纳空间中的位置；

其中，所述在云平台上构建深度卷积神经网络模型步骤中，所述网络模型的结构为：

INPUT-＞[[CONV-＞AF]*N-＞POOL？]*M-＞[FC-＞AF]*L-＞FC

式中：

INPUT表示输入数据，CONV表示卷积层，AF表示激活函数，POOL表示池化层，？表示该层是可选的，FC表示全连接层；

其中，N,M,L表示特定结构重复的次数，均为正整数，且满足

N≥0，N≤3；

M≥0；

L≥0，L＜3；

激活函数采用ReLU函数，其计算公式为f_ReLU(x)＝max(0,x)；

所述卷积层CONV用来提取输入图像的特征，通过卷积层能够得到特征图，卷积过程满足如下公式：

式中，表示第l层中第j个特征图，表示第l-1层中第i个特征图，表示第l层中第j个特征图与第l-1层中第i个特征图之间的卷积核，表示第l层中第j个特征图对应的偏置，H表示第l-1层中特征图的集合，f为激活函数；

当输入图像尺寸为W，卷积层中神经元的感受野尺寸为F，步长为S，零填充的数量为P时，所述卷积层输出的图像尺寸为

所述池化层POOL通过池化来降低卷积层输出特征图的维度，池化过程满足如下公式：Z'_nm＝f₁(Z_np,Z_n(p+1))

其中，Z_np为池化层中第n个输入特征图第p个神经元的输出值，Z'_nm为第n个输出特征图第m个神经元的输出值，f₁表示池化函数；

其中，所述优化处理模型结构和参数的具体方法为：

将获取的食材图像数据库中的食材图像分为两部分，分别作为训练样本和测试样本，经多层卷积、池化操作后完成特征提取，后经输出层完成分类辨识；通过目标函数确定分类误差，通过误差反向传播算法优化更新模型参数，反复训练直至到达指定次数或分类误差足够小，从而确定可用于食材图像准确分类辨识的模型结构以及相应参数；其中训练样本用于对模型结构和参数进行训练，测试样本用于测试训练后的模型的食材辨识效果；

其中，所述多层卷积、池化操作包括：

在连续的卷积层之间周期性的插入一个池化层，不改变图像深度的前提下减小中间过程产生的特征图尺寸；

信息从输入层经过逐级变化传送到输出层，网络执行的计算公式为：

OUTPUT＝F_h(…(F₂(F₁(INPUT·W⁽¹⁾)W⁽²⁾)...)W^(h))

式中，INPUT表示输入数据，W^(h)表示第h层的权值点阵，F_h表示第h层的激活函数，OUTPUT表示实际输出值；

在通过误差反向传播算法优化更新模型参数过程中，当第l层为卷积层、第l+1层为池化层时，将第l+1层的特征图上采样，使得与第l层特征图大小一致，然后进行敏感度计算，公式如下：

其中，q表示序数，为第l层上第q个特征图内所有像素对应的敏感度组成的敏感度图，为第l+1层第q个特征图内所有像素对应的敏感度组成的敏感度图，“·”为两式对应相乘，up(·)表示上采样函数，为第l+1层上第q个特征图对应的权值，f'(·)为当前层激活函数的导数，为第l层上第q个特征图激活之前的数据；

在权值更新过程中，该层每个特征图的偏置项的导数都为该特征图的所有像素的敏感度之和，公式如下：

式中E为参数集在训练集上的整体误差，b_q为该层第q个特征图的偏置项；

对于卷积核，其偏导数等于相邻两层对应之积，公式如下：

式中表示第l-1层第s个特征图，代表第l层与对应的第q个的卷积核，为第l层上第q个特征图内所有像素对应的敏感度组成的敏感度图，rot180(·)表示将矩阵旋转180度，conv2(·)表示两个矩阵的卷积计算，valid表示返回值不考虑边界补零，即只要有边界补出的零参与运算的都舍去；

当第l层为池化层、第l+1层为卷积层时，由于池化层权值固定，涉及不到权值更新，不用计算偏导数，其公式如下：

式中“·”为两式对应相乘，f'(·)为当前层激活函数的导数，conv2(·)表示两个矩阵的卷积计算，为第l层上第q个特征图激活之前的数据，表示第l+1层第q个特征图内所有像素对应的敏感度组成的敏感度图，表示第l+1层第q个卷积核，full表示返回全部二维卷积结果；

其中，基于二分复杂网络的饮食推荐方法包括：

确定二分复杂网络的节点，以菜品、用户为二分复杂网络的节点；

建立二分复杂网络的连边及权重；和

通过二分复杂网络对用户身体状况数据进行分类及确定菜品对用户的健康影响；

其中，所述确定二分复杂网络的节点的执行方法为：通过统计、整理大量用户的饮食记录，梳理菜品名单，以各种菜品和各位用户分别为网络节点，作为二分复杂网络的两类节点；

所述建立二分复杂网络的连边及权重的执行方法为：根据用户的饮食记录，在用户与食用过的菜品之间建立加权连边，连边的权重根据食用次数确定；

所述通过二分复杂网络对用户身体状况数据进行分类及确定菜品对用户的健康影响的执行方法为包括：

通过比较同一类用户在食用不同菜品后的身体状况变化情况，确定不同菜品对某一类用户的生理作用以及健康影响；

通过比较不同类用户食用相同菜品后的身体状况变化情况，确定同一菜品对不同类用户的生理作用以及健康影响；

通过比较同一类用户食用相同菜品后的身体状况变化情况，确定同一菜品在同一类用户中生理作用的差异性以及健康影响；

针对特定用户，结合其身体状况数据以及个人喜好，结合时令信息，决策最优的饮食推荐方案。