[发明专利]用于资源控制的设备、程序和方法

说明书

实施例包括一种设备，所述设备包括处理器电路和存储器电路，存储器电路存储处理指令，所述处理指令当由处理器电路执行时，促使处理器电路：在有限时间段结束时，执行来自用于执行物理环境中的任务的有限资源集的资源到未决任务的指派，包括制定指派，其中制定指派包括：使用强化学习算法来制定优化奖励函数值的映射，奖励函数值是由预定奖励函数基于表示资源的清单和未决任务的表示以及映射而生成的值，映射是来自清单的单独资源到表示中的单独未决任务的映射，所制定的指派是根据所制定的映射的。

技术领域

本发明在于资源控制和资源管理的领域。特别地，实施例涉及有限资源到在物理环境（诸如电信网络）中的动态改变的任务集合的指派。

背景技术

典型的电信网络包括诸如基站节点、核心网络组件、网关等之类的大量互连的元件。在此类系统中，在它的各种软件和硬件组件中有失灵（malfunctions）是自然的。通过事件或工单（ticket）来报告这些。网络维护团队需要有效地解决它们以拥有健康的电信网络。通常，这些维护团队需要最优规则来将诸如人、工具、装备等的可用固定资产/资源指派到未解决（活动/未决（pending））的工单。系统中活动工单的数量正在动态地改变，因为一些工单在它们被解决时离开系统，并且新工单由于网络中的新事件或失灵而进入系统。这使找到最优规则以将固定资产分配到活动工单是困难的。

尽管存在基于最优计划将资源指派到工单的现有方法，但是这经常仅相对于手头的当前工单来完成，并且指派不注意此类指派对系统的长期影响。例如，现有途径是要将资产手动映射到工单。无论何时工单到达网络操作中心NOC，NOC管理员都从那些可用的资产中指派所需的资产，目的是尽可能快地解决工单。虽然这种途径可以有效地处理当前在系统中的工单，但是在适当的时候，对资产利用的贪婪/自私途径将开始耗尽（draining）资产，并且促使将来工单具有更长的解决时间（因为由将来工单所需的资产被最近到达的工单占用）。

资产到资源的指派的问题在以下中讨论：Ralph Neuneier, Enhancing Q-Learning for Optimal Asset Allocation, NIPS 1997:936-942 URL:https://pdfs.semanticscholar.org/948d/17bcd496a81da630aa947a83e6c01fe7040c.pdf；以及Enguerrand Horel, Rahul Sarkar, Victor Storchan, Final report: Dynamic AssetAllocation Using Reinforcement Learning, 2016 URL:https://cap.stanford.edu/profiles/cwmdfid=69080cwmId=6175。

上面公开的途径不能被应用于物理环境中动态改变的任务场景。

提供用于在动态物理环境中控制资源到未决任务的指派的技术是可期望的，该技术至少部分地克服了在单独基础上按到达顺序处理每个未决任务的限制。

发明内容

实施例包括一种设备，所述设备包括处理器电路和存储器电路，存储器电路存储处理指令，所述处理指令在由处理器电路执行时，促使处理器电路：在有限时间段结束时，执行来自用于执行物理环境中的任务的有限资源集的资源到未决任务的指派，包括制定指派，其中制定指派包括：使用强化学习算法来制定优化奖励函数值的映射，奖励函数值是由预定奖励函数基于表示资源的清单（inventory）和未决任务的表示以及映射而生成的值，映射是来自清单的单独资源到表示中的单独未决任务的映射，所制定的指派是根据所制定的映射的。

资源集还可以被称为资产集合或固定资产集合。资源的有限性质指示资源到未决任务的指派负面影响用于其它未决任务的资源的可用性。在无限资源的情况下，相同情况并非如此。