[发明专利]一种利用耳戴式运动传感器识别语音内容的方法

说明书

本发明涉及一种利用耳戴式运动传感器识别语音内容的方法，属于移动计算应用技术领域。首先使用耳戴式运动传感器采集佩戴者耳部的运动状态信号并切分语音片段。分析三轴ECDM信号，提取与语音内容有关的特征信号，消除特征中的个体差异。分析三轴BCV信号，提取与语音内容有关的特征信号。最后，利用获取的ECDM特征信号和BCV特征信号，基于卷积神经网络和连接主义时空分类来识别语音内容。本发明仅依靠耳戴式设备上普遍嵌入的运动传感器识别语音内容，能够在复杂环境噪音下可靠运行，具有抗干扰、低成本等优势。

技术领域

本发明涉及一种语音内容识别方法，尤其涉及一种利用耳戴式运动传感器来识别语音内容的方法，用于扩展人机交互应用，属于移动计算应用技术领域。

背景技术

在物联网技术迅速发展以及人机交互重要性日趋凸显的背景下，计算机面临的交互任务场景和深度与日俱增，促进了人机交互技术类型的多样化。语音内容识别由于形式自然，免于接触式操作成为了人机交互技术的重要一环。传统语音内容识别技术通过麦克风录制音频，根据其时域和频域特征匹配语音音素，最后整合成为语音内容。然而，麦克风录制的音频对于环境噪音较为敏感，导致此类方法在环境噪音较强时无法工作。因此，在复杂噪声环境下实现可靠的识别语音内容，成为国内外相关领域的研究热点。

为了应对复杂的环境噪声，研究人员开发了大量的噪音滤波算法。然而，滤波算法针对性强，往往只能应对单一的噪声类型。部分方法利用大规模麦克风阵列来录制含有噪声的音频，基于盲源分离技术提取噪音信号和语音信号。然而，麦克风阵列成本较高，部署复杂，依赖对环境噪音的先验知识，难以在日常生活中应用。

此外，部分方法用摄像头来捕捉说话口型，然后识别语音内容，但此类依赖摄像头的方法存在隐私泄露的风险，并且对测试环境要求苛刻，如人脸无遮挡、光线充足等。还有部分方法利用毫米波信号、Wi-Fi信号或其他射频信号捕捉说话时的唇部和喉部运动以识别语音内容，但此类方法易被身体运动导致的多径效应影响，且在测量时普遍要求用户保持静止，严重限制用户行为。另外，还有部分方法利用专用喉部骨传导麦克风录制说话时的骨传导音频以识别语音内容，然而，在喉部佩戴麦克风在日常生活中会带来诸多不便，难以大规模推广。

综上所述，现有的方法存在各种不足，亟需新的方法来克服其局限性。

发明内容

本发明的目的是为了克服现有在复杂环境噪音下语音内容识别方法的问题和缺陷，创造性地提出一种利用耳戴式运动传感器识别语音内容的方法，能够在复杂环境噪音下准确识别佩戴者的语音内容。

随着嵌入式和传感器技术的不断发展，耳戴式设备(如智能耳机、智能助听器)普遍部署了加速度计、陀螺仪等运动传感器，用于实现佩戴监测、触摸交互等功能，使耳戴设备的感知能力显著提升，为感知佩戴者语音内容提供了有力支撑。

本发明提出的利用耳戴式运动传感器识别语音内容的方法，其基本原理在于：语音产生过程中，一方面，声带的振动以下颌骨和肌肉组织为媒介传播到耳朵，可以被耳戴式设备的运动传感器捕捉，被称为骨传导振动(Bone Conduction Vibrations，简称BCV)。另一方面，说话时舌头、嘴唇等器官的运动会引起耳道轮廓变形，也可以被耳戴式设备的运动传感器的捕捉，被称为耳道动态运动(Ear Canal Dynamic Motions，简称ECDM)。BCV和ECDM的特性取决于说话内容，因此，分析BCV和ECDM能够提取与说话内容有关的大量信息，最终识别佩戴者的语音内容。

本发明的目的是通过以下技术方案实现的。

一种利用耳戴式运动传感器识别语音内容的方法，包括以下步骤：

步骤1：使用耳戴式运动传感器采集佩戴者耳部的运动状态信号(加速度信号)，并切分语音片段。

该步骤的目的是为了节省计算资源，根据说话时加速度信号变化剧烈的特点监测并切分含有语音的片段。

具体地，包括以下步骤：