[发明专利]一种基于强化学习的优惠券智能派送方法

说明书

本发明提供了一种基于强化学习的优惠券智能派送方法，该方法解决了传统优惠券派送的序列决策问题以及传统优惠券派送方法为静态推荐方法。本发明采用神经网络作为主要的非线性拟合器，输入为用户特征，输出为各种面值券的价值，选出价值最大的券，通过发券系统发送给用户，再由短信提醒的方式，提醒用户去消费，然后在优惠券有效期期间收集用户行为反馈，产生状态转移，将状态转移放入神经网络中训练，通过一段时间的训练达到算法收敛，固定该策略网络作为推荐函数，进行推荐，本发明通过上述设计有效地提高了优惠券的推送精度。

技术领域

本发明属于智能营销技术领域，尤其涉及一种基于强化学习的优惠券智能派送方法。

背景技术

智能派送优惠券系统是通过派送优惠券的形式，促使用户使用优惠券去指定的地点进行消费，已达到商场利益最大化的目的。派送优惠券是需要成本的，每一张优惠券是由商家花钱购买，若优惠券被使用，则产生优惠，即商家垫付优惠券的钱，若没有被使用，则不产生任何成本，固需要精确的投递优惠券，已达到使用最少成本促使更多消费者到指定地点消费。智能派送优惠券系统从本质上来讲，是一种个性化推荐系统。推荐系统根据用户行为以及商品的特点，给用户推荐用户可能感兴趣的商品。目前，个性化推荐系统在电子商务领域应用十分广泛，但是在智能派送优惠券的领域没用得到很好的应用。

传统的个性化推荐系统大多数是静态推荐系统。静态推荐系统假设用户行为不以推荐行为转移，即推荐的商品是不会影响用户的决定的，只是将用户想看见的同类产品按照某一种顺序展现给用户，从心理学的角度来说，这是错误的，比如，用户在逛商城的时候并不知道需要买什么，但是通过商店店员或者广告介绍，用户可能更加青睐店员或者广告介绍的产品，这就是广告效果，这显然违背了个性化推荐系统宗旨。传统的推荐系统不能解决序列推荐问题，现有的推荐系统是建立一种映射，从用户画像和商品特征到推荐商品的映射。但是，在推荐系统一步一步推荐某类商品后，用户特征将会发生变化，本不想购买的产品在不断的推荐之后，可能使得用户产生购买行为。这是个性化推荐系统不能做到的，个性化推荐只是产生一次推荐行为，不会考虑序列推荐行为对用户产生的行为。电商使用的个性化推荐系统，是不考虑推荐行为本身的成本的，在推荐列表产生后，只是等待其转化。而优惠券在使用过后，是需要付出成本的，这也是与推荐系统不同的地方。固开发智能派送优惠券系统是有必要的。

发明内容

针对现有技术中的上述不足，本发明提供的一种基于强化学习的优惠券智能派送方法，解决了传统优惠券派送方法为静态推荐方法以及传统的推荐系统不能解决序列推荐的问题。

为了达到以上目的，本发明采用的技术方案为：

本方案提供一种基于强化学习的优惠券智能派送方法，包括如下步骤：

S1、更新数据库，并对数据库中的数据进行清洗，得到用户特征信息；

S2、利用所述用户特征信息初始化深度神经网络模型；

S3、利用当前的深度神经网络模型输出优惠券的面值以及优惠券的数量；

S4、向用户派送面值最大的优惠券，并通过短信的方式提醒用户消费；

S5、获取在优惠券有效期内用户所反馈的行为信息，并记录该行为信息；

S6、将用户反馈的行为信息输入至所述深度神经网络模型进行训练，更新深度神经网络模型；

S7、根据更新后的深度神经网络模型确定策略函数，并根据所述策略函数向用户派送优惠券，从而完成基于强化学习的优惠券智能派送。

进一步地，所述步骤S6中更新深度神经网络模型的表达式如下：

θ＝argmax_θ(y_j-q_eval(s_t,a_t))²