[发明专利]一种基于多模态的数字人信息处理用人机交互系统

权利要求书

1.一种基于多模态的数字人信息处理用人机交互系统，其特征在于，包括人机交互平台，人机交互平台内设置有服务器，服务器通讯连接有多模态场景选择单元、协同分析单元、感知分析单元以及实时决策分析单元；

人机交互平台用于对工业领域内操作人员的运行场景进行分析，服务器生成多模态场景选择信号并将多模态场景选择信号发送至多模态场景选择单元，通过多模态场景选择单元对工业领域内的运行场景进行选择；

服务器生成协同分析信号和感知分析信号并将协同分析信号和感知分析信号分别发送至协同分析单元和感知分析单元；协同分析单元接收到协同分析信号后，将对应多模态分析场景内数字人运行过程中产生的协同动作进行分析；感知分析单元接收到感知分析信号后，对多模态场景内数字人的感知进行分析；

服务器生成实时决策分析信号并将实时决策分析信号发送至实时决策分析单元，通过实时决策分析单元对多模态场景内工序为人工操作和机械操作进行决策分析；

多模态场景选择单元的多模态场景选择过程如下：

采集到工业领域内运行场景，并将对应运行场景设置标号i，i为大于1的自然数，采集到实际操作人员在运行场景内运行出现错误频率以及运行内出现错误对应的消耗成本，并将实际操作人员在运行场景内运行出现错误频率以及运行内出现错误对应的消耗成本分别标记为PLi和CBi；采集到运行场景在实际操作人员的运行下合格完成的频率，并将运行场景在实际操作人员的运行下合格完成的频率标记为HPi；

通过公式获取到工业领域内运行场景的分析选择系数Xi，其中，a1、a2以及a3均为预设比例系数，且a1＞a2＞a3＞0；将运行场景的分析选择系数Xi与分析选择系数阈值进行比较：

若运行场景的分析选择系数Xi超过分析选择系数阈值，则将对应运行场景标记为多模态分析场景，并将多模态分析场景发送至服务器；若运行场景的分析选择系数Xi未超过分析选择系数阈值，则将对应运行场景标记为非多模态分析场景，并将非多模态分析场景发送至服务器。

2.根据权利要求1所述的一种基于多模态的数字人信息处理用人机交互系统，其特征在于，协同分析单元的协同分析过程如下：

对多模态分析场景内数字人的运行协同动作进行分析；将多模态分析场景内数字人的工作姿态保持时长与对应工序步骤的操作时长进行采集，若工作姿态保持时长高于对应工序步骤的操作时长，则判定对应工序步骤的运行合格，并将对应工序步骤标记为合格分析步骤，反之则判定对应工序的运行不合格，并将对应工序步骤表示为不合格分析步骤；

将各个合格分析步骤对应数字人肢体动作的活动角度进行采集，并采集到合格分析步骤对应的活动角度最大值和活动角度最小值，通过合格分析步骤对应的活动角度最大值和活动角度最小值获取到合格分析步骤对应工序的协同角度区间；并将协同角度区间内各个活动角度对应的工作姿态进行采集，并将对应工作姿态标记为合格工作姿态；将各个不合格分析步骤对应数字人肢体动作的活动角度进行采集，并将采集的不合格分析步骤对应活动角度标记为不合格协同角度；并将不合格协同角度对应的工作姿态进行采集，并将对应工作姿态标记为不合格工作姿态；

将协同角度区间和合格工作姿态以及不合格协同角度和不合格工作姿态发送至服务器。