[发明专利]一种基于语音技术的复杂设备智能虚拟训练方法和系统

说明书

本发明公开了一种基于语音技术的复杂设备智能虚拟训练方法和系统，属于虚拟训练领域。本发明包括：首先，建立复杂设备虚拟仿真操作环境；然后，结合训练过程中的人员岗位配置，进行多路语音并行采集与处理；其次，针对确定的设备操作规程，提取有效的训练人员语音特征，实现语音的自动识别，完成与规程中口令文字模式的匹配分析；再次，进行设备操作信息的自动语音合成，同时通过设备及组件任务协同，实现虚拟训练的动作、语音、现象、提示等要素的同步；最后，根据设备训练与使用要求，建立面向原理示教、规程背对、虚拟训练、任务考核、故障诊断的学习资源库、操作规程库、考核成绩库、虚拟设备库与维修故障库。

技术领域

本发明属于虚拟训练领域，特别涉及一种基于语音技术的复杂设备智能虚拟训练方法和系统。

背景技术

在实际生产工作中，大型复杂设备，如大型机电设备、航天测控系统、大型精密医疗系统、复杂武器装备等，其操作人员训练多结合实装进行，这种训练模式存在许多问题，主要表现在：(l)训练成本高。大型复杂设备价格昂贵，训练易造成磨损和老化，从而严重影响设备寿命，同时因训练带来的操作费用也很高；(2)大型复杂设备实装训练受场地气候条件、人员号位协同等限制，训练时间受限，影响操作能力和水平提高；(3)实装训练所见故障现象和所能体会的排故维修操作非常有限，不能在有限培训时间内迅速提高操作人员在面对实装故障时的应对能力；(4)实装训练没有自动的训练结果量化分析系统，操作人员无法实时准确把握训练的不足之处，不能及时有针对性的改进训练方法，从而影响训练水平。(5)在设备研发阶段，研发人员无法了解操作人员对设备使用的直观感受，不能将操作流程优化工作做在产品定型前；(6)对于新设备的实装训练，由于新设备到位有一个相对较长的周期，在这个周期里，操作使用人员无法接触设备，不能提前进行操作训练，出现“人等设备”现象。这些问题严重制约和影响了对操作人员的训练，从而直接影响到大型复杂设备作用的及时有效发挥。

虚拟训练系统能够有效克服完全依赖实装进行训练带来的诸多问题，如成本高、易磨损、限制条件多等，为大型复杂设备训练提供先进的操作环境和虚拟手段，对于改进训练效果、提高操作使用水平以及应对设备故障、加强设备维护等都具有重要意义。因此，虚拟训练系统受到了极大的关注，也取得了较多成果，如手术虚拟训练系统、飞机机务虚拟训练系统、航天员虚拟训练系统、舰船虚拟训练系统等。但目前已有虚拟训练系统大多依赖于机器视觉、三维仿真、虚拟现实等视觉交互技术，对视觉图像信息利用较为充分，而对其它信息的利用则稍显不足，如语音信息，尤其是虚拟训练中对语音进行采集识别以及自动合成、实现训练过程中人-机直接对话，这方面的公开报道非常少。

在本发明以前的现有技术中，有以下参考文献：

[1]金雷,潘巨辉,王春财.语音识别在指挥引导训练系统中的应用与实现[C].第三届中国指挥控制大会,2015.07.

[2]景春进,陈东东,周琳琦.基于中文语音识别技术的舰艇指挥训练系统的研究[J].计算机测量与控制,2014.22(8).

[3]袁伟伟,胡军,刘万凤.空管模拟训练中指令的语音识别与合成技术研究[J].电子设计工程,2013.21(6).

[4]耿睿,崔德光.基于复合信息空间的语音识别训练系统研究[J].计算机工程与应用,2002.38(1).

文献[1]采用基于隐马尔可夫模型局部最优状态路径的数据重建算法，提高了语音识别的准确性和鲁棒性，并可识别指挥引导员连续发出的指挥口令；文献[2]分析了舰艇指挥指令的语言特点，研究了基于Sphinx平台的汉语连续语音识别的相关问题，并设计实现了一个非特定人、中等专用词汇量的连续汉语语音识别系统；文献[3]对空管模拟训练中指令的自动语音识别及自动语音合成应答问题进行了分析研究，并基于开源语音识别引擎及语音合成引擎，设计并实现了一个语音指令识别及合成系统；文献[4]提出了一种在复合信息空间中基于知识的、定性与定量相结合的分析方法，并基于该方法对语音识别产品进行使用训练。以上文献均是侧重于语音识别、合成技术，或者是语音识别产品方面，对于语音技术在虚拟训练中的具体应用没有详细阐述。