[发明专利]基于人工智能的数字孪生智能体时空协同方法和元宇宙

权利要求书

1.一种孪生智能体协同方法，其特征在于，所述方法包括：

预设场景获取步骤：获取预设场景；

孪生智能体构建步骤：根据预设场景的对象构建孪生智能体；孪生智能体具备智能体的特性，同时具备数字孪生体的特性；

孪生智能体时空协同步骤：通过物联网采集预设场景中每个对象的数据，作为每个对象的孪生智能体的数据，将所述数据输入到预设的深度强化学习模型；通过所述预设的深度强化学习模型进行预设场景中各个对象的孪生智能体之间的时空性通信和协同决策；所述预设的深度强化学习模型包括基于时空性认知差异的多孪生智能体强化学习模型或/和时空性一致性表征的多孪生智能体强化学习模型或/和基于时空性动态协同图的图卷积多孪生智能体强化学习模型。

2.根据权利要求1所述的孪生智能体协同方法，其特征在于，所述方法还包括：

基于时空性认知差异的多孪生智能体强化学习模型构建步骤：通过神经网络将预设场景中所有孪生智能体的局部观测值转化为一个观测值认知矩阵e；e是一个n d×维的编码矩阵，其中n是孪生智能体的数目，d是编码维度的大小，e表示所有孪生智能体的观察值编码的结果；通过神经网络将预设场景中所有孪生智能体的观测方式转化为一个参照认知矩阵e’；孪生智能体的观测方式包括局部观测的时间、局部观测的空间位置、局部观测的方法；e'是一个n d’×维的编码矩阵，其中n是孪生智能体的数目，d’是观测方式维度的大小，e'表示所有孪生智能体的观测方式编码的结果；观测值认知查询矩阵Q、观测值认知值矩阵K和观测值认知值矩阵V被设置为与观测值认知矩阵e相同；计算单位矩阵与矩阵Q’和K’的点乘之差，并与矩阵Q和K的点乘相加；使用soft max运算对结果进行归一化，得到注意力观测认知系数矩阵其中dk用来对计算的结果进行尺度缩放；注意力观测认知系数矩阵a与值矩阵V计算得到注意力观测认知矩阵使用观测值认知矩阵减去注意力观测认知矩阵，再与神经网络转化成的观测值认知矩阵e进行信息融合，生成新的输入

3.根据权利要求1所述的孪生智能体协同方法，其特征在于，所述方法还包括：

基于时空性一致性表征的多孪生智能体强化学习模型构建步骤：创建了一个时空性认知编码网络，多个孪生智能体共享时空性认知编码网络的参数；时空性认知编码网络通过以当前孪生智能体的隐藏状态hi作为输入，其他孪生智能体的隐藏状态hj为目标进行训练；时空性认知编码网络的损失函数为其中，ψ是时空性认知编码网络的参数，N是孪生智能体的数量，hji rep是时空性认知编码网络的输出，表示孪生智能体j的认知转换为孪生智能体i的时空性一致性表征；j表示不同于孪生智能体i的孪生智能体；利用每个孪生智能体的隐藏状态和其他孪生智能体的隐藏状态的时空性一致性表征的相似性来表示其对预设场景的认知程度其中i从1到N，j包括0；所有孪生智能体对环境的认知程度可以由矩阵W表示；利用W计算每个孪生智能体的个体奖赏；若W值越大，则给该个孪生智能体越高的奖赏。

4.根据权利要求1所述的孪生智能体协同方法，其特征在于，所述方法还包括：

基于时空性动态协同图的图卷积多孪生智能体强化学习模型构建步骤：利用孪生智能体的空间信息、时间信息、内容信息构建时间邻接矩阵M1、空间邻接矩阵M2、内容邻接矩阵M3，三个邻接矩阵求交，得到综合的邻接矩阵M；用X表示孪生智能体的观测值编码矩阵，为一个n d×维的矩阵，其中n是孪生智能体的数目，d是孪生智能体编码维度的大小，Q和K是与X相同的查询矩阵和关键值矩阵；通过自注意力机制计算孪生智能体观测值编码之间的相似性其中dk是一个归一化因子，对得到的结果进行缩放；用X’表示孪生智能体的观测方式编码矩阵，为一个n d’×维的矩阵，其中n是孪生智能体的数目，d’是孪生智能体观测方式编码维度的大小，Q’和K’是与X’相同的查询矩阵和关键值矩阵；通过自注意力机制计算孪生智能体观测方式编码之间的相似性其中d‘k是一个归一化因子，对得到的结果进行缩放；使用获取到的邻接矩阵M过滤掉无需交互的孪生智能体之间的相似性值作为孪生智能体之间的时空性交互关系；将孪生智能体之间的时空性交互关系作为邻接矩阵进行图卷积以实现孪生智能体之间信息的融合其中X^(l)是卷积层l的特征矩阵，W^(l)是第l层卷积层的一个d×d维的可训练的矩阵，σ是非线性激活函数。