[发明专利]一种基于语音特征挖掘新词汇的方法及系统

权利要求书

1.一种基于语音特征挖掘新词汇的方法，其特征在于，具体包括以下步骤：

步骤1、构建训练数据集；

步骤2、对训练数据集中的数据进行半标注；

步骤3、读取训练数据集中每一条训练数据，并提取频域特征；

步骤4、构建语音文本分词模型，并利用训练数据集进行性能训练；

步骤5、利用训练完的语音文本分词模型对待分析语音文本数据进行新词分析；

步骤6、将得到的新词结果输出。

2.根据权利要求1所述的一种基于语音特征挖掘新词汇的方法，其特征在于，所述训练数据集采用开源训练数据，包含语音数据和对应的文本数据；

对所述训练数据集中的数据执行半标注的过程中，采用{B,S,M,E}的模式进行标注，其中B表示一个词的开头，S表示单个字，M表示一个词的中间，E表示一个词的结束。

3.根据权利要求2所述的一种基于语音特征挖掘新词汇的方法，其特征在于，在完成数据标注后，利用至少三种分词技术对文本数据进行分词，并针对分词结果进行判断和修正，获得处理后的语音训练数据TS＝[TS_i]_n和对应分好词的文本数据集TT＝[TT_i]_n。

4.根据权利要求2所述的一种基于语音特征挖掘新词汇的方法，其特征在于，利用语音识别技术，将语音数据和对应的文本数据进行对齐，实现一条语音数据到每个文字对应语音片段的转换；

基于获取到的每个文字对应的语音片段，在经过预处理后，得到语音片段对应的频域特征，即向量矩阵TSF_i,j：

式中，f_i,j表示语音片段TS_i,j经过帧率f采样后的帧数，80为FBank声学特征维度；TS_i,j表示第i条语音数据中的第j个语音片段。

5.根据权利要求1所述的一种基于语音特征挖掘新词汇的方法，其特征在于，所述语音文本分词模型包括：输入层、编码层、全连接层、Bert模型、Softmax层和输出层；

在利用语音文本分词对训练数据集进行处理分析时，具体包括以下步骤：

步骤4.1、读取训练数据集中的每个文本数据对应语音片段数据的频域特征矩阵；

步骤4.2、利用编码层对读取到的频域特征矩阵进行编码，输出对应的语音编码向量；

步骤4.3、基于预设的字典，将文本数据转换为文字编码向量；

步骤4.4、将语音编码向量和文字编码向量进行纵向拼接，得到输入向量；

步骤4.5、采用全连接层对输入向量进行维度转换；

步骤4.6、将转换后的向量输入Bert模型进行分析，获得输出矩阵H；

步骤4.7、将输出矩阵中的向量经过一个全连接层后，得到预测向量；

步骤4.8、利用softmax将预测向量映射到对应每个类别的概率向量，并输出对应的类别；

步骤4.9、计算输出值与真实值之间的损失函数，并通过反向传播的方式优化模型参数。

6.根据权利要求5所述的一种基于语音特征挖掘新词汇的方法，其特征在于，为了提高语音文本分词模型的性能，采用交叉熵损失函数判断真实值与预测值的差值，并通过反向传播的方式，更新模型中的参数，实现模型的性能优化；

所述交叉熵损失函数的表达式为：

式中，N表示训练的总样本数；i表示第i条数据；t表示第i条数据第t个文字；c表示第i条数据第t个文字第c类；表示预测值。