[发明专利]基于改进在线深度学习的用户需求预测方法

说明书

本发明涉及一种基于改进在线深度学习的用户需求预测方法，其特征在于，包括以下步骤：1)对神经元输入数据进行正负判断，2)若数据为正值，则原样输出；若数据为负值，则通过sigmoid函数计算得到其激活概率，3)通过数据特性驱动的激活函数DReLu对数据激活输出，4)通过HBP在线深度学习模型实现对用户需求的精确动态预测，该基于改进在线深度学习的用户需求预测方法，采用在线深度学习模型能够更好的处理流式数据，同时，从数据流中更能捕捉用户的实时需求；其次，利用改进的DReLu激活函数能够提高数据的利用率，缓解深度学习中神经元“死亡”现象，从而能够弥补在线深度学习算法对用户需求预测能力的不足。

技术领域

本发明特别涉及一种基于改进在线深度学习的用户需求预测方法。

背景技术

用户服务需求预测对于准确地感知用户的服务需求，提高主动服务推荐的 准确性具有重要意义。近年来，在线深度学习方法逐渐成为一种主要的在线预 测方法，在多个领域取得了成功的应用。在线深度学习中，激活函数是提高深 度学习预测性能的关键，传统ReLu激活函数对输入为负的数据梯度为零，造成 神经元节点“死亡”，严重影响了模型预测的准确率。

发明内容

本发明要解决的技术问题是：为了克服现有技术的不足，提供一种基于改 进在线深度学习的用户需求预测方法。

1、本发明解决其技术问题所采用的技术方案是：该方法包括以下步骤：

1)对神经元输入数据进行正负判断；

2)若数据为正值，则原样输出；若数据为负值，则通过sigmoid函数计算 得到其激活概率；

3)通过数据特性驱动的激活函数DReLu对数据激活输出；

4)通过HBP在线深度学习模型实现对用户需求的精确动态预测；

其中，激活函数DReLu的表达公式为：该激活函 数的计算过程可以描述为：对于数据流实例特征x_t，经过具有n个神经元节点的 神经网络隐含层的线性运算，得到一个n维的向量当该向量的 第i个节点的取值为正的时候，采取ReLu函数的激活方式，当该向量的第i 个节点的取值为负数的时候，首先利用sigmoid函数计算该值的激活概率并且是由该数据本身特性决定的激活可能性。

作为优选，HBP在线深度学习模型表达公式：其中， f^(l)＝softmax(h^(l)θ^(l)),h^(l)＝σ(W^(l)h^(l-1)),h⁽⁰⁾＝x，在上述公式中，θ^(l)和α是新引入的两组参数，θ^(l)表示每个隐含层与对应分类器的权重，每个 分类器f由其进行参数化，而α表示模型输出中每个分类器所占的比重。L+1个 分类器的加权组合构成模型总的输出，所以模型总的损失函数表示如以下公式 所示：在在线学习的过程中，我们需要不断学习 参数α^(l),θ^(l),W^(l)，在模型的第一次反向更新参数时，预设所有权重α是均匀 分布的，即

作为优选，权重α的更新方式如以下公式所示：其中 β∈(0,1)，是权重更新的折扣率参数，为了保证所有α之和为1，所以在每个数 据流实例训练结束时对α进行标准化处理。为了解决浅层HBP模型初始性能较差 问题，设置平滑参数s∈(0,1)，用于为每个分类器设置最小权重,在每次迭代中对 分类器进行权重更新之后，权重设置为：保持了每个深度的分 类器的最小权重。

作为优选，所有分类器的参数θ^(l)更新和传统DNN输出层权重更新类似，表 达公式如下：