[发明专利]一种GloVe超参数调优方法

摘要

本发明属于自然语言处理技术领域，具体是一种GloVe超参数调优方法。解决GloVe模型的应用中导致不稳定结果的问题，包括以下步骤，S101～将GloVe模型的超参数作为可控因子，S102～将GloVe模型训练中不易控制的因子作为噪声因子；S103～可控因子选择当前最优水平和候选水平，共两个水平，噪声因子选择全部水平。S104～对步骤S103中选出的所有因子的不同水平进行组合，以信噪比snk作为方差分析模型的指标，进行方差分析以及显著性检验；S105～分析每一个可控因子fi，如果fi显著，则替换最优水平lie为对应信噪比snk较大的水平作为当前最优水平；S106～重复执行步骤S103‑S105，直到所有可控因子Li中所有可取值都被探测过为止，此时由各可控因子最优水平组成的组合即为优化组合。

主权项

1.一种GloVe超参数调优方法，其特征在于：包括以下步骤，S101～将GloVe模型，即式3中的超参数作为可控因子，要求每个可控因子至少有两个可取值，即水平，式中|V|是词表的大小，即词表内所有词的总数目；Xij表示目标词i和窗口内的其他词j在语料中的共现频次，bi和bj分别是词i和词j的偏置项，β为校正因子；S102～将GloVe模型训练中不易控制的因子作为噪声因子；S103～每次迭代计算最优水平组合的过程中，可控因子选择当前最优水平和候选水平，共两个水平，噪声因子选择全部水平。S104～对步骤S103中选出的所有因子的不同水平进行组合，以信噪比snk作为方差分析模型的指标，进行方差分析以及显著性检验；S105～分析每一个可控因子fi，如果fi显著，则替换最优水平lie为对应信噪比snk较大的水平作为当前最优水平；S106～重复执行步骤S103‑S105，直到所有可控因子Li中所有可取值，即水平，都被探测过为止，此时由各可控因子最优水平组成的组合即为优化组合，也即超参数的最终取值。