[发明专利]面向语言模型的双单元搜索空间的结构搜索方法

权利要求书

1.面向语言模型的双单元搜索空间的结构搜索方法，其特征在于：首先，构建双单元搜索空间；

其次，在PTB数据集上进行搜索，选择搜索过程中在验证集上损失最小的结构作为待选单元结构；

最后，进入评估阶段，在语言模型任务上对搜索阶段得到的待选单元结构进行短时间评估，得到最优单元结构。

2.根据权利要求1所述的面向语言模型的双单元搜索空间的结构搜索方法，其特征在于：所述基于双单元搜索空间的结构搜索方法的具体实现步骤如下：

Step1、针对语言模型任务提出了双单元搜索空间，设置一个搜索单元，通过单元的连接来构成最终的循环神经网络，进而构建出搜索空间；

Step2、整个搜索阶段在PTB上建立，输入参数，共持续50个一代训练epoch，得到若干个不同的初始待选单元结构；选择搜索过程中在验证集上损失最小的若干个结构作为待选单元结构；

Step3、在语言模型任务上对搜索阶段得到的若干个待选单元结构进行短时间评估，得到最优单元结构。

3.根据权利要求1所述的面向语言模型的双单元搜索空间的结构搜索方法，其特征在于：Step1中提出的双单元搜索空间是将整个搜索空间的大框架延续了DARTS中的设置，即搜索一个单元，然后通过单元的连接来构成最终的循环神经网络，与DARTS不同的是，在每个单元内部设置了两个子单元：信息储存单元cellc_t以及信息处理单元cellh_t；每个单元都是一个包含若干节点的有向无环图；信息储存单元的输入为序列前若干个时刻的输入，以便对序列的前端信息进行有效的保存。

4.根据权利要求1所述的面向语言模型的双单元搜索空间的结构搜索方法，其特征在于：Step2中进行搜索阶段的实验参数大多数遵循DARTS中的设置，不同的参数在于：循环神经网络层数定为一层，词嵌入大小和隐藏层的大小均为300，批次大小为256；每个单元内部设置信息储存单元cellc_t和信息处理单元cellh_t，信息储存单元内部包含3个节点，信息处理单元内部包含8个节点。

5.根据权利要求4所述的面向语言模型的双单元搜索空间的结构搜索方法，其特征在于：节点与节点之间的边采取如下四种操作函数进行操作，四种操作函数分别为tanh、relu、sigmoid和identity。

6.根据权利要求1所述的面向语言模型的双单元搜索空间的结构搜索方法，其特征在于：Step2的搜索阶段中对于两个优化阶段分别使用不同的算法进行优化，网络权重w使用随机梯度下降SGD算法进行优化，学习率为20，权重衰减为5e-7；结构权重α利用Adam算法进行优化，初始学习率为3e-3，权重衰减为1e-3。

7.根据权利要求1所述的面向语言模型的双单元搜索空间的结构搜索方法，其特征在于：Step3中，评估阶段的参数设置，将模型的词嵌入大小和隐藏层大小扩大到850，批次大小为64，权重的优化方法使用平均随机梯度下降ASGD算法，初始学习率为20，权重衰减大小为8e-7。

8.根据权利要求1所述的面向语言模型的双单元搜索空间的结构搜索方法，其特征在于：Step3中对搜索阶段得到若干个待选单元结构进行短时间评估，得到最优单元结构，得到最优单元结构之后，将这个单元再次随机初始化网络权重，并在训练集进行更长时间的训练，直到其收敛。