[发明专利]一种基于多模态的数字人信息处理用人机交互系统

说明书

本发明公开了一种基于多模态的数字人信息处理用人机交互系统，涉及多模态人机交互技术领域，解决了现有技术中在多模态场景分析中无法对数字人进行感知分析和协同分析的技术问题，将对应多模态分析场景内数字人运行过程中产生的协同动作进行分析，判断数字人在多模态分析场景内的操作是否合格，从而判定对应多模态分析场景内的因操作人员动作不合格出现的问题，增强多模态分析场景运行的高效率；对多模态场景内数字人的感知进行分析，对数字人进行感知分析表示为数字人进行工序步骤操作时进行操作反应时长分析，判断数字人运行是否合格的同时判断工序步骤操作反应时长对工序步骤操作的影响，提高了多模态场景内运行的工作效率。

技术领域

本发明涉及多模态人机交互技术领域，具体为一种基于多模态的数字人信息处理用人机交互系统。

背景技术

人机交互的发展历史，是从人适应计算机到计算机不断地适应人的发展史，交互的信息也由精确的输入输出信息变成非精确地输入输出信息，随着网络的普及和无线通讯技术的发展，人们的需求不再局限于界面美学形式的创新，现在的用户更多的希望在使用多媒体终端时，有着更便捷、更符合他们的使用习惯，同时又有着比较美观的操作界面；

但是在现有技术中，在多模态场景分析中无法对数字人进行感知分析和协同分析，导致多模态场景对应的操作工序运行效率降低；同时无法通过分析判断操作工序的存在风险，无法保证运行效率以及操作人员的安全；

为此，我们提出一种基于多模态的数字人信息处理用人机交互系统。

发明内容

本发明的目的在于提供一种基于多模态的数字人信息处理用人机交互系统，对工业领域内操作人员的运行场景进行分析，并根据运行场景模拟数字人，通过数字人多模态人机交互判断对应运行场景的运行风险，从而降低了实际操作人员在场景运行过程中的受伤风险概率，同时提高了实际操作人员场景运行的准确效率；对工业领域内的运行场景进行选择，运行场景表示为工业领域内各个操作工序，提高了多模态人机交互的针对性，减少简单操作工序进行多模态分析，造成不必要的成本浪费；将对应多模态分析场景进行数字人模拟运行，通过数字人模拟运行判断多模态分析场景在运行过程中存在的问题，当多模态分析场景内数字人进行模拟运行。

本发明的目的可以通过以下技术方案实现：

一种基于多模态的数字人信息处理用人机交互系统，包括人机交互平台，人机交互平台内设置有服务器，服务器通讯连接有多模态场景选择单元、协同分析单元、感知分析单元以及实时决策分析单元；

人机交互平台用于对工业领域内操作人员的运行场景进行分析，服务器生成多模态场景选择信号并将多模态场景选择信号发送至多模态场景选择单元，通过多模态场景选择单元对工业领域内的运行场景进行选择，服务器生成协同分析信号和感知分析信号并将协同分析信号和感知分析信号分别发送至协同分析单元和感知分析单元；协同分析单元接收到协同分析信号后，将对应多模态分析场景内数字人运行过程中产生的协同动作进行分析；感知分析单元接收到感知分析信号后，对多模态场景内数字人的感知进行分析；服务器生成实时决策分析信号并将实时决策分析信号发送至实时决策分析单元，通过实时决策分析单元对多模态场景内工序为人工操作和机械操作进行决策分析。

进一步地，多模态场景选择单元的多模态场景选择过程如下：

采集到工业领域内运行场景，并将对应运行场景设置标号i，i为大于1的自然数，采集到实际操作人员在运行场景内运行出现错误频率以及运行内出现错误对应的消耗成本，并将实际操作人员在运行场景内运行出现错误频率以及运行内出现错误对应的消耗成本分别标记为PLi和CBi；采集到运行场景在实际操作人员的运行下合格完成的频率，并将运行场景在实际操作人员的运行下合格完成的频率标记为HPi；

通过公式获取到工业领域内运行场景的分析选择系数Xi，其中，a1、a2以及a3均为预设比例系数，且a1＞a2＞a3＞0；将运行场景的分析选择系数Xi与分析选择系数阈值进行比较：