[发明专利]用于训练强化学习系统的系统和方法

说明书

本公开提供了“用于训练强化学习系统的系统和方法”。一种方法包括从数字孪生的一个或多个传感器获得状态信息。所述方法包括：基于所述状态信息确定第一路线选择控制位置处的动作，其中所述动作包括托盘合并操作和托盘拆分操作中的一者；以及基于所述动作确定结果状态。所述方法包括：基于所述结果状态和瞬态目标函数来计算瞬态生产值；基于所述结果状态和稳态目标函数来计算稳态生产值；以及基于所述瞬态生产值和所述稳态生产值选择性地调整所述强化学习系统的一个或多个强化参数。

技术领域

本公开涉及用于训练用于制造环境中托盘路线选择的强化学习系统的系统和方法。

背景技术

本部分中的陈述仅提供了与本公开相关的背景信息，并且可能不构成现有技术。

在制造环境中，可以在各种托盘上提供半成品工件和成品工件，所述托盘在执行制造操作的多个工作站之间自主导航。作为示例，当接近或离开工作站时，控制器可以执行神经网络例程(例如，由强化学习系统执行的深度学习强化例程)以指示托盘在环境中的各种预定义位置自动合并或拆分路径以满足制造例程的各种时间和生产约束。然而，训练强化学习系统以抑制瓶颈的方式有效地控制托盘是资源密集型且繁琐的过程。本公开尤其解决了训练被配置为在制造环境中控制托盘的强化学习系统的这些问题。

发明内容

本部分提供了对本公开的总体概述并且不是对其全部范围或其所有特征的全面公开。

本公开提供了一种用于训练强化学习系统的方法。所述方法包括从数字孪生的一个或多个传感器获得状态信息，其中所述状态信息包括在制造模拟期间在所述数字孪生的第一路线选择控制位置处的多个托盘的数量、在所述制造模拟期间在所述第一路线选择控制位置处的多个托盘的类型，或其组合。所述方法包括：基于所述状态信息确定所述第一路线选择控制位置处的动作，其中所述动作包括托盘合并操作和托盘拆分操作中的一者；以及基于所述动作确定结果状态，其中所述结果状态包括在所述数字孪生的后续路线选择控制位置处的多个托盘的后续数量、在所述后续路线选择控制位置处的多个托盘的类型，或其组合。所述方法包括：基于所述结果状态和瞬态目标函数来计算瞬态生产值；基于所述结果状态和稳态目标函数来计算稳态生产值；以及基于所述瞬态生产值和所述稳态生产值选择性地调整所述强化学习系统的一个或多个强化参数。

在一种形式中，一个或多个强化参数包括一个或多个传感器的传感器布局、瞬态目标函数、稳态目标函数或其组合。在一种形式中，选择性地调整所述一个或多个强化参数包括调整所述传感器布局，并且其中调整所述传感器布局还包括改变所述数字孪生中的一个或多个传感器的数量、所述数字孪生中的一个或多个传感器的放置或其组合。在一种形式中，所述方法还包括：调整所述调整后的传感器布局的瞬态目标函数的阈值瞬态生产值、所述调整后的传感器布局的稳态目标函数的阈值稳态生产值或其组合。在一种形式中，所述一个或多个强化参数包括状态信息、动作或其组合。在一种形式中，所述瞬态目标函数和所述稳态目标函数是基于与所述多个托盘中的第一类型的托盘相关联的第一目标生产值和与所述多个托盘中的第二类型的托盘相关联的第二目标生产值。在一种形式中，所述瞬态目标函数是基于位于所述后续路线选择控制位置处的第一类型的托盘的第一数量与第二类型的托盘的第二数量之间的比率。在一种形式中，所述稳态目标函数是基于位于所述后续路线选择控制位置与目的地之间的第一类型的托盘的第一数量与第二类型的托盘的第二数量之间的比率。在一种形式中，所述瞬态目标函数和所述稳态目标函数是基于指示第一目标生产值与第一目标生产值和第二目标生产值的总和的比率的生产比率。