[发明专利]人机智能共生平台系统

权利要求书

1.一种人机智能共生平台系统，包括：

多模态交互系统，通过异构的交互硬件设备采集数据，对数据进行分析处理，得到交互信号，输出多模态交互信息并发送至数据处理中枢平台；所述多模态交互信息包括KATVR交互信号；还包括语音交互信号、眼动交互信号或手势交互信号中的一种或至少两种的组合，或还包括脑电交互信号；

数据处理中枢平台，接收来自多模态交互系统的多模态交互信息并翻译后生成指挥命令；接收人工智能算法平台输出的AI实体控制指令与分配结果；将AI实体控制指令与分配结果分别和指挥命令进行筛选、综合与融合，形成对仿真系统内实体的控制指令，并发送至仿真系统；同时以一定频率接收仿真系统回传的仿真环境数据，并发送至人工智能算法平台；

所述数据处理中枢平台包括：

交互对接模块，对接收到的多模态交互信息进行筛选、整合，翻译后生成指挥命令，并发送至指令融合模块；所述指挥命令包括用户实体控制指令，还包括决策确认指令或实体控制指令；所述实体控制命令选自队形选择指令、目标选择指令或语言命令指令中的一种或至少两种的组合；所述用户实体控制指令是交互对接模块对多模态交互信息中的KATVR信号翻译后生成的控制代表用户实体的仿真环境内虚拟实体的命令，并与VR环境进行交互；所述决策确认指令是交互对接模块对多模态交互信息中的脑电信号的命令识别结果的确认工作，确认即翻译后生成决策确认命令；所述队形选择指令是交互对接模块对多模态交互信息中的手势交互信号翻译后生成的对仿真环境内虚拟实体的不同队形命令，其中，不同的手势代表不同的队形；所述目标选择指令是交互对接模块对多模态交互信息中的眼动交互信号翻译后生成的对仿真环境内虚拟实体进行选择的命令；所述语音命令指令是交互对接模块对多模态交互信息中的语音交互信号翻译后生成的对不同的仿真环境内实体进行移动控制的命令；

AI对接模块，用以对接人工智能算法平台，接收人工智能算法平台输出的AI实体控制指令与分配结果，并发送至指令融合模块；接收仿真环境对接模块传递上来的仿真环境数据，并发送至人工智能算法平台中；在AI对接模块中，将接收的AI实体控制指令发送至指令融合模块；将分配结果应用分配算法计算仿真系统内虚拟实体的目的地，并翻译生成移动控制指令，发送至指令融合模块；

指令融合模块，将AI实体控制指令和分配结果分别与指挥命令进行筛选、综合与融合，形成对仿真系统内实体的控制指令，并发送至仿真环境模块；在指令融合模块中，对接收到的用户实体控制指令直接发送至仿真环境对接模块；对接收到的决策确认指令或实体控制指令与接收到的AI实体控制指令和移动控制指令分别融合，融合后的指令与用户实体控制指令组成控制指令并发送至仿真环境对接模块；

仿真环境对接模块，作为下层模块与仿真系统对接，将控制指令发送至仿真环境当中；以一定的频率接收仿真系统的仿真环境数据，并发送至AI对接模块中；

人工智能算法平台，接收数据处理中枢回传的仿真系统环境数据进行AI模型训练；接收数据处理中枢回传的仿真系统环境数据，用训练完成后的AI模型输出AI实体控制指令与分配结果并发送至数据处理中枢；

仿真系统，接收来自数据处理中枢平台的控制指令，并作出相应的控制，并进行虚拟现实形式的可视化显示人机交互的结果；输出仿真环境数据到并发送至数据处理中枢。

2.根据权利要求1所述的人机智能共生平台系统，其特征在于，所述多模态交互系统包括：

KATVR模块，包括KATVR设备和KATVR数据处理软件，采集人物朝向、移动速度并处理，用于输出KATVR交互信号；

语音模块，包括语音信号采集设备和语音识别软件，采集语音数据并处理，用于输出语音交互信号；

眼动模块，包括眼动追踪设备和眼动识别软件，采集眼动数据并处理，用于输出眼动交互信号；

手势模块，包括Myo臂带设备和手势识别软件，采集手臂肌肉电信号数据并处理，用于输出手势交互信号；

脑电模块，包括脑电数据采集设备和脑电识别软件，采集脑电数据并处理，用于输出脑电交互信号。

3.根据权利要求1所述的人机智能共生平台系统，其特征在于，在仿真环境对接模块中，接收来自于指令融合模块输出的控制指令，并发送至仿真系统对用户虚拟实体及其他虚拟实体进行控制；仿真环境对接模块对接收的仿真环境数据进行解码，分解成包括仿真环境内各实体位置、状态的数据后发送至AI对接模块。

4.根据权利要求1所述的人机智能共生平台系统，其特征在于，所述仿真系统为可视化可交互的虚拟现实仿真系统，包含若干个可选择的三维虚拟环境，以虚拟现实的方式对仿真环境进行可视化显示；其中，用户通过VR设备与仿真环境中代表用户的虚拟实体进行交互，或通过数据处理中枢对仿真环境中的其他虚拟实体进行控制。