[发明专利]一种基于语音技术的复杂设备智能虚拟训练方法和系统

权利要求书

1.一种基于语音技术的复杂设备智能虚拟训练方法，其特征在于，包括以下步骤：

首先，建立复杂设备虚拟仿真操作环境，作为后续操作的公共平台；

然后，结合训练过程中的人员岗位配置，进行多路语音并行采集与处理，为语音识别提供准确的输入信息；

其次，针对确定的设备操作规程，提取有效的训练人员语音特征，实现语音的自动识别，完成与规程中口令文字模式的匹配分析，为后续任务与决策提供依据；

再次，进行设备操作信息的自动语音合成，包括规程口令信息、操作提示信息和设备故障信息，同时通过设备及组件任务协同，实现虚拟训练的动作、语音、现象和提示要素的同步；

最后，根据设备训练与使用要求，建立面向原理示教、规程背对、虚拟训练、任务考核、故障诊断的学习资源库、操作规程库、考核成绩库、虚拟设备库与维修故障库，实现资料规程自动导入、任务模块智能链接、训练效果定量分析以及信息故障快速查询的功能；

该方法包括五种训练模式，分别是机器合成训练模式、人机背对训练模式、人员协同背对训练模式、虚拟操作训练模式和语音操作协同训练模式；

机器合成训练模式中，完成设备操作所有岗位均由计算机虚拟操作人员担任，训练过程中计算机按照岗位任务分工自动完成所有虚拟操作人员的语音合成，并结合虚拟训练设备同步显示设备操作状态及现象；

人机背对训练模式中，完成设备操作的部分岗位由训练人员担任，其余部分岗位由计算机虚拟操作人员担任，训练过程中计算机按照岗位任务分工自动完成训练人员的语音采集、识别与判读，同时完成虚拟操作人员的语音合成，并通过分析训练人员背对时间及准确性，给出训练效果的定量评价；

人员协同背对训练模式中，完成设备操作的所有岗位均由训练人员担任，训练过程中计算机自动完成训练人员语音的采集、识别与判读，并通过分析训练人员背对时间及准确性，给出训练效果的定量评价；

虚拟操作训练模式中，结合虚拟训练设备，训练人员按规程要求进行相应操作，训练过程中计算机结合设备操作情况适时给出文字、语音方面的信息提示，并通过分析训练人员操作动作的准确性，给出训练效果的定量评价；还能够结合故障库，在虚拟设备上设置故障状态，训练人员按要求进行故障分析及排故训练，同样通过分析训练人员操作动作的准确性，给出训练效果的定量评价；

语音操作协同训练模式中，结合虚拟训练系统，在语音训练的同时，同步进行设备操作训练，使训练人员能“听着口令、做着动作、看着现象、报着状态”全方位协同训练，训练过程中计算机按照岗位任务分工自动完成训练人员的语音采集、识别与判读，同时完成虚拟操作岗位的语音合成，依据训练人员操作情况，同步显示虚拟设备操作状态及现象，并通过分析训练人员的规程口令连贯性和操作动作准确性，给出训练效果的定量评价。

2.一种基于语音技术的复杂设备智能虚拟训练系统，其特征在于，该系统基于权利要求1所述的方法，包括计算机系统(6)、语音采集系统(7)、键盘鼠标输入系统(8)、语音输出系统(9)和显示投影系统(10)；其中，

计算机系统(6)内包含机器合成训练模块(601)、人机背对训练模块(602)、人员协同背对训练模块(603)、虚拟操作训练模块(604)和语音操作协同训练模块(605)；语音采集系统(7)内包含语音采集模块(701)和语音综控模块(702)；

工作时，计算机系统(6)通过语音采集系统(7)和键盘鼠标输入系统(8)采集训练人员的口令和操作动作信息，将相应信息送入选定的机器合成训练模块(601)、人机背对训练模块(602)、人员协同背对训练模块(603)、虚拟操作训练模块(604)或语音操作协同训练模块(605)，再由选定的训练模块根据录入的操作规程进行语音识别分析和自动语音合成，以及虚拟设备状态信息更新，最后将相关信息送到语音输出系统(9)和显示投影系统(10)进行播放显示。

3.根据权利要求2所述的一种基于语音技术的复杂设备智能虚拟训练系统，其特征在于，机器合成训练模块(601)中，虚拟操作人员根据录入的规程，在计算机系统(6)内进行语音合成，通过语音输出系统(9)输出语音；

人机背对训练模块(602)中，不同训练人员的训练语音通过不同的语音采集模块(701)，在语音综控模块(702)的控制下并行采集，经过处理后，在计算机系统(6)内进行语音识别；与此同时，虚拟操作人员根据录入的规程，配合训练人员进行语音合成，将识别结果与录入的相应规程进行比对分析，最后输出训练结果；

人员协同背对训练模块(603)中，不同训练人员的训练语音通过不同的语音采集模块(701)，在语音综控模块(702)的控制下并行采集，经过处理后，在计算机系统(6)内进行语音识别，并依据录入的相应规程文件对语音识别结果进行判读分析，根据各训练人员背对时间、报错次数，输出训练结果；

虚拟操作训练模块(604)，根据录入的规程，合成语音、文字信息提示，训练人员按照信息提示在虚拟设备上进行相应操作，计算机系统(6)根据操作动作更新相应虚拟设备的状态，并依据规程对虚拟设备操作结果进行判读分析，最后输出训练结果；

语音操作协同训练模块(605)中，不同训练人员的训练语音通过不同的语音采集模块(701)，在语音综控模块(702)的控制下并行采集，经过处理后，在计算机系统(6)内进行语音识别，训练人员在虚拟设备上进行相应操作；虚拟操作人员根据录入的规程，在相应时间配合训练人员进行语音合成，更新相应虚拟设备的状态，并依据录入的相应规程对训练人员语音识别结果和虚拟设备操作结果进行判读分析，最后输出训练结果。