[发明专利]一种小规模语料DNN-HMM声学训练结构

摘要

本发明提供了一种小规模语料DNN‑HMM声学训练结构，包括：源数据、目标数据、源模型、目标模型、目标数据；所述源数据由同构模型参数迁移训练算法与异构模型参数迁移训练算法共同得出，且通过将源数据训练得到的DNN模型的参数迁移到目标数据训练出来的模型中，实现DNN‑HMM异构模型的参数迁移；使用参数迁移训练方法构建的DNN‑HMM蒙古语声学模型在词错率和句错误要比迁移前降低了2.72％和15.22％，说明参数迁移训练方法的有效性和可行性，从而有效的解决了小规模语料库下DNN‑HMM模型建模中存在的问题和不足。

主权项

1.一种小规模语料DNN‑HMM声学训练结构，包括：源数据、目标数据、源模型、目标模型、目标数据；其特征在于：所述源数据由同构模型参数迁移训练算法与异构模型参数迁移训练算法共同得出，且通过将源数据训练得到的DNN模型的参数迁移到目标数据训练出来的模型中，实现DNN‑HMM异构模型的参数迁移；所述目标数据使用TIMIT英语语料作为数据，且蒙古语语料作为目标数据，并实验基于KALDI平台；所述源模型是利用源数据对DNN‑HMM模型训练得到源模型，并将源模型命名为S_DNN；目标模型是使用目标数据对DNN‑HMM模型训练得到目标模型，并将目标模型命名为T_DNN，且源数据与目标数据选用不同规模，不同语言数据；所述目标数据将源模型参数迁移到目标模型中，经过再一次对迁移后模型的训练得到目标数据，并将目标数据命名为tr‑DNN模型；所述S_DNN模型由源数据训练出来，T_DNN模型是由目标数据训练出来，且m∈N_1，n∈N_(l‑1)，k∈N_l，u∈N_l，其中S_DNN.m＝T_DNN.m，S_DNN.n＝T_DNN.n，S_DNN.k≠T_DNN.u，导致S_DNN.W_1^2＝T_DNN.W_1^2、S_DNN.W_2^(l‑1)＝T_DNN.W_2^(l‑1)且S_DNN.B＝T_DNN.B，而S_DNN.W_(l‑1)^l≠T_DNN.W_(l‑1)^l，可以推出S_DNN模型与T_DNN模型属于异构模型，且S_DNN<>T_DNN模型的参数迁移算法：输入：X_S，Y_S，X_T，Y_T，//X_S表示源数据，Y_S表示源数据的标注数据；X_T表示目标数据，Y_T表示目标数据的标签数据；输出：tr‑DNN，//tr‑DNN表示迁移后DNN模型；1：initalize(S_DNN)；2：S_DNN←train(X_S，Y_S，S_DNN)；3：T_DNN←initalize(T_DNN)；4：T_DNN.w_1^(l‑1)←S_DNN.w_1^(l‑1)；5：T_DNN.B←S_DNN.B；6：tr‑DNN←train(X_T，Y_T，T_DNN)；所述同构模型参数迁移训练算法是分为模型结构，数据源、同构模型、同构模型参数迁移；所述模型结构是将深度神经网络的模型结构为M，M＝(N，P，F，l)，其中N是网络节点N＝{N_1，N_2，…，N_i，…，N_l}，N_i指神经网络中第i层的节点数；P＝(W，B)，P＝{P_1^2，P_2^3，…，P_i^(i+1)，…，P_(l‑1)^l}，P_i^(i+1)指神经网络第i层到第i+1层的参数矩阵；W＝{W_1^2，W_2^3，…，W_i^(i+1)，…，W_(l‑1)^l},W_i^(i+1)指神经网络第i层到第i+1层的权值矩阵；B指偏置向量B＝{B_1，B_2，…，B_i，…，B_(l‑1)}，B_i指中神经网络第i层的偏置向量；F＝{g(·)，o(·)}，其中g(·)表示神经网络隐含层的激活函数，o(·)表示神经网络输出层的函数；l指网络深度；所述数据源为D_S＝{〖X〗_(S),Y_S}和D_T＝{〖X〗_T,Y_(T)}，S表示源数据，T表示目标数据，X表示输入训练数据，Y表示标签数据；所述同构模型是指源模型M_S与目标模型M_T的N、l和F相同，表示M_S＝M_T；所述同构模型参数迁移指在使用源数据DS构建的源模型MS中WS和BS替换目标数据DT构建的目标模型MT中的WT和BT，得到迁移模型tr‑M，且当MS＝MT时，表明MS模型中WS和BS与MT模型中WT和BT属于同型矩阵，在进行模型参数迁移时可以直接将MS模型中参数矩阵迁移到MT模型参数对应的位置上；所述同构模型参数迁移具体算法：输入：X_S，Y_S，X_T，Y_T；//X_S表示源数据，Y_S表示源数据的标注数据；X_T表示目标数据，Y_T表示目标数据的标签数据；输出：tr‑M，//tr‑M表示迁移后模型；1：initalize(M_S)；//初始化2：M_S←train(〖X〗_S，Y_S，M_S)；3：M_T←M_S；4：tr‑M←train(X_T，Y_T，M_T)；所述异构模型参数迁移训练算法由异构模型、异构模型参数迁移所组成，且异构模型是指源模型M_S与目标模型MT的l相同，F相同，N_1到N_(l‑1)相同，N_l不相同，表示M_S<>M_T；所述异构模型参数迁移是指在使用源数据D_S构建的源模型M_S中部分W_S和B_S对目标数据D_T构建的目标模型M_T中的W_T和B_T进行替换，得到迁移模型tr‑M；所述在异构模型下，由于N_(l‑1)不相同，不能直接将源领域数据训练得到的模型参数直接以对应关系迁移目标领域数据训练出来的模型中；所述异构模型参数迁移的流程在异构神经网络模型中，M_S模型中P_(l‑1)^l与M_T模型中P_(l‑1)^l不相同，即M_S.P_(l‑1)^l≠M_S.P_(l‑1)^l；M_S模型中P_1^(l‑1)与M_T模型中P_1^(l‑1)属于同型矩阵，即M_S.P_1^(l‑1)≠M_S.P_1^(l‑1)。所以，在进行模型参数迁移时，不能将参数矩阵直接进行迁移，且具体参数迁移算法：输入：X_S，Y_S，X_T，Y_T；//X_S表示源数据，Y_S表示源数据的标注数据；X_T表示目标数据，Y_T表示目标数据的标签数据；输出：tr‑M，//tr‑M表示迁移后模型：1：initalize(M_S)；2：M_S←train(X_S，Y_S，M_S)；3：M_T←initalize(M_T)；4：M_T.P_1^(l‑1)←M_S.P_1^(l‑1)；5：tr‑M←train(X_T，Y_T，M_T)。