[发明专利]一种基于多模态融合的管制话音复述一致性校验方法

说明书

本发明提供了一种基于多模态融合的管制话音复述一致性校验方法，本方法构建管制指令复述语义一致性的自动判断系统，使用多模态融合技术解决语音识别准确率低导致的一致性校验低的问题，提升结果的可靠性。通过进行管制指令复述的语义一致性校验，本方法可以实现以下辅助功能：自动判断飞行员的复述是否与管制员的管制指令语义一致。其优点在于利用多模态数据间信息互补的特点，使用语音信号补偿文本数据信息缺失的问题，而该问题通常由语音识别技术的准确性不足而造成。因此可以得到可靠性较高的判断结果。

技术领域

本发明属于空中交通管制自动化系统技术领域，尤其涉及一种基于多模态融合的管制话音复述一致性校验方法。

背景技术

在航空器飞行过程中，为了保证航空器的飞行安全，空中交通管制员(“管制员”)与航空器飞行员必须能及时、准确地理解对方的意图。在实际的管制工作中，管制员发出一条管制指令后，飞行员在理解指令内容后必须复述一遍管制指令，这个过程被称为复诵。复诵的准确性对航空安全至关重要，然而当前的判断方法仍然是靠管制员人为判断，缺乏自动化系统的辅助，由于长时间的高强度工作会使管制员出现疲劳，有时难以判断复述指令是否与管制指令保持语义一致，因复述不一致而导致的飞行事故时而发生。由于管制指令和复述指令是以话音形式传递的，因此使用语音识别、自然语言处理等人工智能技术进行语义一致性校验可以帮助管制员及时发现复述的不一致性，提升空中交通运行的安全性，减轻管制员的工作负荷。

当前基于深度学习的管制复述一致性校验方法利用语音识别技术将话音数据转换成文本形式，再利用深度神经网络对管制复述文本的一致性进行判断。由于受到语音识别技术的准确率限制，该方法存在准确率较差的问题。多模态融合技术利用不同模态之间信息互补的特点，使用管制语音信号对管制文本数据进行补偿，增强自动化系统对管制指令的语义理解能力，提高一致性校验结果的准确性和可靠性。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于多模态融合的管制话音复述一致性校验方法，包括如下步骤：

步骤1，采集管制话音与复述话音数据，形成正样本训练数据；根据管制话音产生错误的复述话音，形成负样本训练数据；使用语音识别技术(参考文献：俞栋、邓力。“解析深度学习：语音识别实践”，电子工业出版社，2016)对收集到的管制话音与复述话音训练数据进行处理，生成文本数据，文本数据包括管制文本数据与复述文本数据；

步骤2，构建单语音单文本多模态融合模型，将文本数据输入单语音单文本多模态融合模型，输出概率分布；

步骤3，构建双语音双文本多模态融合模型，将文本数据输入双语音双文本多模态融合模型，输出概率分布；

步骤4，构建全连接神经网络分类模型，将步骤2得到的概率分布和步骤3得到的概率分布输入全连接神经网络分类模型，输出管制话音复述一致性校验结果。

步骤2中，所述单语音单文本多模态融合模型包括第一高层特征提取层、基于注意力机制的第一特征对齐层、第一多模态特征融合层和第一语义一致性校验层。

步骤2中，所述构建单语音单文本多模态融合模型具体包括：

步骤2-1，构建第一高层特征提取层，得到高层特征：将收集得到的管制话音与复述话音训练数据作为输入，对训练数据分帧，将长度为n秒的管制话音数据分成m帧，每一帧信号的长度是分别对每一帧信号做快速傅里叶变换处理，从时域表示转换成频谱表示，再使用梅尔滤波器处理信号，得到基于梅尔倒谱系数的序列表示方法，即得到语音信号的低层特征；

对文本数据进行词嵌入处理，通过分词生成词语序列，然后使用Word2Vec方法将每个词转换成词向量的形式，组合形成文本数据的向量表示方法，即得到文本数据的低层特征；