[发明专利]一种GloVe超参数调优方法

权利要求书

1.一种GloVe超参数调优方法，其特征在于：包括以下步骤，

S101～将GloVe模型，即式3中的超参数作为可控因子，要求每个可控因子至少有两个可取值，即水平，

式中|V|是词表的大小，即词表内所有词的总数目；X_ij表示目标词i和窗口内的其他词j在语料中的共现频次，b_i和分别是词i和词j的偏置项，β为校正因子；

S102～将GloVe模型训练中不易控制的因子作为噪声因子；

S103～每次迭代计算最优水平组合的过程中，可控因子选择当前最优水平和候选水平，共两个水平，噪声因子选择全部水平；

S104～对步骤S103中选出的所有因子的不同水平进行组合，以信噪比sn_k作为方差分析模型的指标，进行方差分析以及显著性检验；步骤S104包括以下方法，对步骤S103中选出的所有因子的不同水平进行组合，基于式3训练模型，得到词表征向量，然后在评测任务上得到相应的准确率p，为适应方差分析的显著性检验，把p进行logistics变换为y＝ln(p/(1-p))；对所有可控因子的任一种水平组合，在所有噪声因子的水平组合上评测得到一组准确率的变换值y，记y_i^(k)为对第k组中第i个评测结果，按计算每组信噪比sn_k，其中n_k为第k组的评测结果个数，即全部噪声因子的水平组合，以信噪比sn_k作为方差分析模型的指标，进行方差分析以及显著性检验；

S105～分析每一个可控因子f_i，如果f_i显著，则替换最优水平l_ie为对应信噪比sn_k较大的水平作为当前最优水平；

S106～重复执行步骤S103-S105，直到所有可控因子L_i中所有可取值，即水平，都被探测过为止，此时由各可控因子最优水平组成的组合即为优化组合，也即超参数的最终取值。

2.根据权利要求1所述的GloVe超参数调优方法，其特征在于：所述步骤S101中，所有可控因子集记为F＝{f₁,f₂,f₃,f₄,f₅,f₆}，包括

f₁：语料规模大小，其可取值，即水平，记为L₁＝{l_1i|i＝1,2,…,c₁}；

f₂：上下文窗口大小，其可取值，即水平，记为L₂＝{l_2i|i＝1,2,…,c₂}；

f₃：词表征的向量维度大小，其可取值，即水平，记为L₃＝{l_3i|i＝1,2,…,c₃}；

f₄：随机初始向量的取值范围，其可取值，即水平，记为L₄＝{l_4i|i＝1,2,…,c₄}；

f₅：迭代次数，其可取值，即水平，记为L₅＝{l_5i|i＝1,2,…,c₅}；

f₆：校正因子β，用来校正X_ij的分布，其可取值，即水平，记为L₆＝{l_6i|i＝1,2,…,c₆}。