[发明专利]智能体决策的方法和装置

说明书

本申请提供一种智能体决策的方法和装置，能够提高智能体决策的性能。所述方法应用于通信系统中，通信系统中包括至少两个功能模块，至少两个功能模块包括第一功能模块和第二功能模块，第一功能模块配置有第一智能体，第二功能模块配置有第二智能体，该方法包括：第一智能体获取第二智能体的相关信息，并根据该第二智能体的相关信息进行第一功能模块的决策。

技术领域

本申请涉及通信领域，并且更具体地，涉及一种智能体决策的方法和装置。

背景技术

现有的通信系统往往被分割成多个功能模块，例如，在传输音视频等多媒体业务的多媒体通信系统中，服务音视频编解码功能的模块和负责通信的模块是相对独立的两个模块。系统设计人员只需要针对各模块的功能，对各模块进行逐一设计和优化即可。

同理，通信协议也往往被分成多层，每层各司其职，完成相应任务。例如，经典的传输控制协议/互联网协议(Transmission Control Protocol/Internet Protocol，TCP/IP)模型，应用层负责程序间的数据沟通，提供文件传输、邮件、远程登录等业务协议；传输层负责提供端到端的可靠或非可靠的通信；网络层负责地址管理和路由选择；数据链路层负责处理数据在物理媒介上的传输。

分模块或分层的系统设计或协议设计的优化方法割裂了模块之间或层之间的相互作用关系，往往只能得到局部最优的解决方案。

目前，提出的跨模块/跨层的优化方法是将多个相互关联的模块或层联合在一起做考虑，建立统一的考虑多模块/多层参数的优化问题，通过设定一个优化目标，用数学公式或数学模型的方式表达出来，并求解该优化问题，得到在考虑了各模块/各层相互制约关系前提下的解决方案。此方法的建模过程往往比较复杂，很多时候是需要简化，导致整个问题和实际问题不是完全一致，只能提供启发式的解法，而启发式的算法往往无法达到最优性能。除此之外，此方法是针对某一场景的优化问题进行建模，当系统发生变化时，该模型将不再适用，需要重新求解优化问题，此方法使得跨模块/跨层的优化方法的复杂度很高。

发明内容

本申请提供一种智能体决策的方法和装置，能够提高智能体决策的性能。

第一方面，提供一种智能体决策的方法，所述方法应用于通信系统中，所述通信系统包括至少两个功能模块，所述至少两个功能模块包括第一功能模块和第二功能模块，所述第一功能模块配置有第一智能体，所述第二功能模块配置有第二智能体，该方法包括：所述第一智能体获取所述第二智能体的相关信息；所述第一智能体根据所述第二智能体的相关信息进行所述第一功能模块的决策。

基于上述技术方案，在通信系统的不同模块可以按需部署不同的智能体，所述智能体可以通过获取除本功能模块之外的其他功能模块中配置的智能体的相关信息，在做决策时考虑本模块与其他模块之间协调性，从而做出最优的决策；除此之外，所述智能体通过与环境进行交互，可以自适应于环境的变化，则当环境状态发生变化时，无需重新建立优化求解的模型。因此，本申请实施例提供的技术方案，能够提高智能体决策的性能。

在一种可能的实现方式中，所述第二智能体的相关信息包括以下至少一种信息：所述第二智能体对所述第一智能体的历史决策做出的第一评价参数、所述第二智能体的历史决策、所述第二智能体的神经网络参数、所述第二智能体的神经网络参数的更新梯度。

在一种可能的实现方式中，所述第一智能体根据所述第二智能体的相关信息进行所述第一功能模块的决策，包括：所述第一智能体根据所述第一功能模块的相关信息和/或所述第二功能模块的相关信息，以及所述第二智能体的相关信息进行所述第一功能模块的决策。

在一种可能的实现方式中，所述第一功能模块的相关信息包括所述第一功能模块的当前环境状态信息、所述第一功能模块的预测环境状态信息、所述第一功能模块对所述第一智能体的历史决策做出的第二评价参数中的至少一种信息；所述第二功能模块的相关信息包括所述第二功能模块的当前环境状态信息和/或所述第二功能模块的预测环境状态信息。