[发明专利]一种深度学习模型的优化处理方法、装置和存储介质

权利要求书

1.一种深度学习模型的优化处理方法，包括：

调整深度学习模型的矩阵中的至少两个矩阵的大小，使得所述至少两个矩阵大小相同；

使所述至少两个矩阵进行权值共享。

2.根据权利要求1所述的方法，其中，所述至少两个矩阵包括如下矩阵中的至少两个矩阵：

所述深度学习模型编码端的词向量矩阵、所述深度学习模型解码端的词向量矩阵、所述深度学习模型输出全连接层的参数矩阵、所述深度学习模型转换输入输出后的编码端的词向量矩阵、所述深度学习模型转换输入输出后的解码端的词向量矩阵和所述深度学习模型转换输入输出后的输出全连接层的参数矩阵。

3.根据权利要求1或2所述的方法，其中，所述至少两个矩阵包括第一矩阵和第二矩阵，所述调整深度学习模型的矩阵中的至少两个矩阵的大小，包括：

从所述第一矩阵中删除词向量；和/或

向所述第二矩阵中填补词向量。

4.根据权利要求3所述的方法，其中，

从所述第一矩阵中删除词向量包括：

按照词频，分别对与所述第一矩阵和所述第二矩阵相对应的词表进行排序，所述第一矩阵的大小大于所述第二矩阵的大小，其中，所述第一矩阵对应的词表中的词从第一训练集数据中得到，所述第二矩阵对应的词表中的词从第二训练集数据中得到，所述第一矩阵对应的词表中的词的词频通过对第一训练集数据进行统计得到，所述第二矩阵对应的词表中的词的词频通过对第二训练集数据进行统计得到；

按照所述词频，删除排序后与所述第一矩阵相对应的词表中的词，使得删除后的所述第一矩阵的大小与所述第二矩阵的大小相同；

向所述第二矩阵中填补词向量包括：

按照词频，分别对与所述第一矩阵和所述第二矩阵相对应的词表进行排序，所述第一矩阵的大小大于所述第二矩阵的大小，其中，所述第一矩阵对应的词表中的词从第一训练集数据中得到，所述第二矩阵对应的词表中的词从第二训练集数据中得到，所述第一矩阵对应的词表中的词的词频通过对第一训练集数据进行统计得到，所述第二矩阵对应的词表中的词的词频通过对第二训练集数据进行统计得到；

按照所述词频，将标识符填补到与所述第二矩阵相对应的词表中，使得填补后的所述第二矩阵的大小与所述第一矩阵的大小相同。

5.根据权利要求1至4中任一项所述的方法，其中，使所述至少两个矩阵进行权值共享，包括：

按照设定的共享率，确定所述至少两个矩阵的共享特征维度；

使所述至少两个矩阵在所述共享特征维度处权值共享。

6.根据权利要求5所述的方法，其中，所述共享率为大于0且小于或等于1的实数。

7.根据权利要求6所述的方法，其中，使所述至少两个矩阵进行权值共享，包括：

按照设定的第一共享率1，使所述至少两个矩阵在全部特征维度处权值共享，以得到第一权值共享矩阵；

按照设定的第二共享率，使所述第一权值共享矩阵与至少一个其他矩阵，在由所述第二共享率所确定的共享特征维度处权值共享；

其中，所述至少一个其他矩阵包括所述深度学习模型中除得到所述第一权值共享矩阵的至少两个矩阵以外的其他矩阵和/或通过权值共享得到的其他权值共享矩阵。

8.根据权利要求7所述的方法，其中，使所述至少两个矩阵进行权值共享，包括：

按照设定的第一共享率1，使所述深度学习模型编码端的词向量矩阵、所述深度学习模型解码端的词向量矩阵与所述深度学习模型输出全连接层的参数矩阵的转置中的至少两个矩阵相等，以得到第二权值共享矩阵；

按照设定的第一共享率1，使所述深度学习模型转换输入输出后的编码端的词向量矩阵、所述深度学习模型转换输入输出后的解码端的词向量矩阵与所述深度学习模型转换输入输出后的输出全连接层的参数矩阵的转置中的至少两个矩阵相等，以得到第三权值共享矩阵；

按照设定的第二共享率，使所述第二权值共享矩阵与所述第三权值共享矩阵在由所述第二共享率确定的共享特征维度处相等。