[发明专利]一种利用耳戴式运动传感器识别语音内容的方法

权利要求书

1.一种利用耳戴式运动传感器的语音内容识别方法，其特征在于，包括以下步骤：

步骤1：使用耳戴式运动传感器采集佩戴者耳部的运动状态信号，并切分语音片段，包括：

步骤1.1：处理采集的三轴加速度信号，分别提取三轴BCV和三轴ECDM信号；

步骤1.2：分析步骤1.1获得的三轴BCV和三轴ECDM信号，使用基于阈值的方法检测语音片段的开始和结束时间，切分语音片段；

其中，设置阈值T₀并与线性BCV信号和线性ECDM信号比较，线性BCV信号和线性ECDM信号同时超出阈值时被视为语音片段的开始，同时低于阈值时被视为语音片段的结束；根据语音片段开始和结束的时间切分三轴BCV信号和三轴ECDM信号；

步骤2：分析三轴ECDM信号，提取与语音内容有关的特征信号，消除特征中的个体差异，包括：

步骤2.1：利用深度回归网络处理步骤1.2获取的语音片段中的ECDM信号，去除身体运动引起的噪音；

步骤2.2：分析步骤2.1获取的纯净三轴ECDM信号，提取与语音内容有关的ECDM特征信号；

步骤2.3：处理步骤2.2提取的ECDM特征信号，重构其波形以消除个体差异的影响；

步骤3：分析三轴BCV信号，提取与语音内容有关的特征信号，包括：

步骤3.1：处理步骤1.2获取的语音片段中的三轴BCV信号，消除由耳戴设备振动引起的噪音；

步骤3.2：分析步骤3.1获取的纯净BCV信号，提取与语音内容有关的BCV特征信号；

步骤4：利用步骤2.3和3.2获取的ECDM特征信号和BCV特征信号，基于卷积神经网络和连接主义时空分类识别语音内容。

2.如权利要求1所述的一种利用耳戴式运动传感器的语音内容识别方法，其特征在于，步骤1.1中，分别利用截止频率为50Hz的高通滤波器和低通滤波器处理所采集的三轴加速度信号，其中频率高于50Hz的分量即为三轴BCV信号，低于50Hz的分量即为三轴ECDM信号；

步骤1.2中，引入线性BCV信号，即为三轴BCV信号X、Y、Z三轴数据平方和的1/2次方；引入线性ECDM信号，即为三轴ECDM信号X、Y、Z三轴数据平方和的1/2次方。

3.如权利要求1所述的一种利用耳戴式运动传感器的语音内容识别方法，其特征在于，步骤1.2中，阈值T₀设为线性BCV信号和线性ECDM信号的最大值的[0.1,0.5]倍。

4.如权利要求2所述的一种利用耳戴式运动传感器的语音内容识别方法，其特征在于，阈值T₀设为线性BCV信号和线性ECDM信号的最大值的0.2倍。

5.如权利要求2所述的一种利用耳戴式运动传感器的语音内容识别方法，其特征在于，步骤2.1中，深度回归网络由输入层，两个全连接层和一个输出组成；输入层对输入受到噪音干扰的三轴ECDM信号进行处理，利用短时傅里叶变换分别计算其X、Y、Z数据的频谱密度并输入给全连接层，全连接层消除运动噪音，输出层利用逆短时傅里叶变换将消除噪音后的三轴频谱密度恢复为纯净三轴ECDM信号；

在深度回归网络训练阶段，预先利用耳戴设备在无噪音情况下采集说话时的加速度信号，并在未说话的情况下采集人体日常活动下的加速度信号；

利用步骤1获得无噪音的纯净三轴ECDM信号，以及三轴身体运动噪音信号；通过在纯净三轴ECDM信号上线性叠加[0.1,1]倍的身体运动噪音，人工合成受到身体运动噪音干扰的三轴ECDM信号；以人工合成的含噪音三轴ECDM信号为网络输入层的输入信号，通过最小化输出层输出信号与对应的纯净三轴ECDM信号的均方差优化网络参数；

在使用阶段，将含有噪音的三轴ECDM信号输入到训练好的深度回归神经网络，输出即为纯净的三轴ECDM信号。