[发明专利]基于人工智能的数字孪生智能体时空协同方法和元宇宙

说明书

基于人工智能的数字孪生智能体时空协同方法和元宇宙，包括：预设场景获取模块；孪生智能体构建模块；孪生智能体时空协同模块；基于时空性认知差异的多孪生智能体强化学习模型构建模块；基于时空性一致性表征的多孪生智能体强化学习模型构建模块；基于时空性动态协同图的图卷积多孪生智能体强化学习模型构建模块。上述方法和元宇宙，将数字孪生技术与人工智能技术相结合，提出了孪生智能体，兼备数字孪生体的全部特性和智能体的全部特性，从而使得多智能体技术能够无缝地融合到无人工厂等数字孪生系统和元宇宙中；结合多孪生智能体的时空信息进行更为有效的通信，提高多孪生智能体全局认知和协同决策的能力。

技术领域

本发明涉及数字孪生技术领域，特别是涉及一种基于人工智能的数字孪生智能体时空协同方法和元宇宙。

背景技术

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：现有基于深度强化学习的多智能协同决策技术大部分都是直接对观测值进行深度强化学习而忽略了观测时空和观测方法对于观测值的影响及其对协同决策的影响。事实上，观测时空和观测方法对于观测值的影响是客观而无法避免的，如果无视这种时空差异带来的影响，只是基于观测值进行协同决策，必然会降低协同决策模型的训练和测试的效率和效果，只有充分利用观测时空和观测方法的知识，才能为协同决策提供更为全面的信息。同时，在无人工厂中多智能体的时空信息与多智能体之间的协同和交互密切相关，如果在进行深度强化学习时多智能体的时空信息忽略和缺失，将会导致模型不正确地拟合，甚至会导致协同决策出现错误的结果。例如，为了在无人工厂中如果有甲乙丙三个智能体，甲智能体需要和乙智能体或丙智能体进行协作，如果有空间信息，乙智能体距离甲智能体更近，则乙智能体会被正确地选择，否则就失去了选择的可能和依据，从而会影响协同决策的结果。

因此，现有技术还有待于改进和发展。

发明内容

基于此，有必要针对现有技术的缺陷或不足，提供基于人工智能的数字孪生智能体时空协同方法和元宇宙，以解决现有基于深度强化学习的多智能协同决策技术大部分都是直接对观测值进行深度强化学习而忽略了观测时空和观测方法对于观测值的影响及其对协同决策的影响的问题。

第一方面，本发明实施例提供一种孪生智能体协同方法，所述方法包括：

预设场景获取步骤：获取预设场景；

孪生智能体构建步骤：根据预设场景的对象构建孪生智能体；孪生智能体具备智能体的特性，同时具备数字孪生体的特性；

孪生智能体时空协同步骤：通过物联网采集预设场景中每个对象的数据，作为每个对象的孪生智能体的数据，将所述数据输入到预设的深度强化学习模型；通过所述预设的深度强化学习模型进行预设场景中各个对象的孪生智能体之间的时空性通信和协同决策；所述预设的深度强化学习模型包括基于时空性认知差异的多孪生智能体强化学习模型或/和时空性一致性表征的多孪生智能体强化学习模型或/和基于时空性动态协同图的图卷积多孪生智能体强化学习模型。

优选地，所述方法还包括：