[发明专利]一种基于深度强化学习的订单信息处理方法

说明书

本发明涉及一种基于深度强化学习的订单信息处理方法，包括：步骤一，对订单数据进行预处理；步骤二，搭建神经网络模型，用预处理后的订单数据训练神经网络；在神经网络结构中加入dropout层，采用交叉验证调节模型超参数并修改损失函数；步骤三，以步骤一中排好顺序的订单属性列为标准，删除新的将要进行决策的订单数据中对应的重要性程度低的订单属性列，将删除后的将要进行决策的订单数据输入搭建好的神经网络模型，获得订单关键要素预测值；步骤四，将预测值输入强化学习模型，最终得到订单接拒模拟运算结果。本发明能够决策出哪些订单接收，哪些订单拒绝，为企业对订单的决策提供辅助判断。

技术领域

本发明涉及机器深度学习技术领域，具体涉及一种基于深度强化学习的订单信息处理方法。

背景技术

制造业是国民经济的基础产业，是现代化的原动力，是国家硬实力的支柱。我国已经成为了世界闻名的制造大国。而全球化的日益成熟和社交网络的普及改变了生产者和消费者之间的关系，消费者越来越倾向于购买符合他们的喜好的产品。大规模定制模式已经不能满足制造业的需求了，伴随着技术的更新迭代，企业与客户、供应商等之间实现高效的互联与交互，大规模个性化模式出现了。传统的大批量生产制造模式已经逐渐被淘汰，目前都是讲究小批量、个性化的智能制造。随着客户对产品个性化需求的加剧，订单反应时间已成为一种新的竞争因素。减少库存、按订单生产是企业在大规模个性化制造模式下发展的必然方向。大批量个性化订单可能导致企业接单决策困难，不能快速评估订单好坏，无法进行效益最大的决策。制造企业必须寻求合理的订单接受决策方案,能够有效的地利用企业各种资源,提高企业的生产效益。

现有订单优选策略不断发展，但并没有提出针对制造业复杂订单且考虑加工过程的优选方法。制造企业现有接受决策考虑尽可能多的利润，倾向于接受全部订单。没有充分考虑企业生产力，使企业不能按时完成订单，企业声誉受到影响。当制造企业生产能力不足以满足顾客的需求时,接受过多订单可能会导致生产系统超负荷,不能按时完成订单，带来较高的惩罚成本即影响企业信誉。同时使顾客满意度降低,造成后期订单流失。大批量个性化订单可能导致企业接单决策困难，不能快速评估订单好坏，无法进行效益最大的决策。

发明内容

本发明的目的在于针对现有技术中的不足之处，提供一种辅助企业有选择性的接受订单的基于深度强化学习的订单信息处理方法。

为达此目的，本发明采用以下技术方案：

一种基于深度强化学习的订单信息处理方法，包括如下步骤：

步骤一，对订单数据进行预处理：制出各种订单数据属性列，对订单数据属性列进行特征重要性评估排序，用户自定义删除重要性程度低的订单属性列，得到预处理后的订单数据；

步骤二，搭建神经网络模型，用预处理后的订单数据训练神经网络；在神经网络结构中加入dropout层，采用交叉验证调节模型超参数并修改损失函数，改进神经网络模型结构；

步骤三，以步骤一中排好顺序的订单属性列为标准，删除新的将要进行决策的订单数据中对应的重要性程度低的订单属性列，将删除后的将要进行决策的订单数据输入搭建好的神经网络模型，获得订单关键要素预测值；

步骤四，将预测值输入强化学习模型，所述强化学习模型为半马尔科夫决策模型，采用QLEARN算法求解，最终得到订单接拒模拟运算结果。

更进一步的说明，所述步骤一中，采用随机森林法对订单数据属性列进行特征重要性评估排序，包括如下步骤：

A1，对每颗决策树，选择相应袋外数据计算袋外数据误差，记为errOBB1；随机对袋外数据所有样本的特征Xj加入噪声干扰，再次计算袋外数据误差，记为errOBB2；设森林有N颗树，则特征X的重要性为：

A2，根据A1计算出订单所有特征重要性，并降序排列，确定剔除比例，得到新的特征集；