[发明专利]语句编码方法、语句解码方法、装置、存储介质及设备

说明书

本申请实施例公开了一种语句编码方法、语句解码方法、装置、存储介质及设备，属于语句处理领域。所述方法用于编码模型中，编码模型包括级联的n个处理节点，处理节点包括级联的一个第一单元和至少一个第二单元；对待编码的源语句进行分词运算，得到m个词汇；利用第i个处理节点获取第i个词汇，并获取第i‑1个处理节点得到的第i‑1个词汇向量；利用第i个处理节点中的第一单元对第i个词汇和第i‑1个词汇向量进行线性运算和非线性运算，将得到的第i个运算结果输出给至少一个第二单元进行处理，得到第i个词汇向量；根据得到的m个词汇向量生成语句向量。本申请实施例可提高语句处理的准确性。

技术领域

本申请实施例涉及语句处理领域，特别涉及一种语句编码方法、语句解码方法、装置、存储介质及设备。

背景技术

计算机可以对输入的一个语句进行处理后输出另一个语句。以机器翻译为例，机器翻译是指通过计算机将一种自然语言的语句翻译成另一种自然语言的语句的翻译方式。通常，机器翻译是通过训练好的机器学习模型对语句进行翻译的。比如，用户将中文语句“房价持续增长”输入机器学习模型后，该机器学习模型输出英文语句“The housingprices continued to rise”。

相关技术中，机器学习模型包括编码模型和解码模型，该编码模型用于将输入的一种自然语言的源语句编码成一个语句向量，并将该语句向量输出给解码模型；该解码模型用于将该语句向量解码成另一种自然语言的目标语句。示意性的，编码模型和解码模型都由神经网络模型构成。

由于机器学习模型处理语句时需要依赖于训练得到的权值，而训练需要涉及反向传播算法，即沿着训练数据的输出路径反向传输输出与参考结果之间的误差，以便于根据该误差来修改权值。然而，反向传播时机器学习模型中误差的梯度会呈指数级下降直至消失，使机器学习模型中前面的权值更新较慢，后面的权值更新较快，导致训练得到的权值不准确，也就导致语句处理的准确性较低。

发明内容

本申请实施例提供了一种语句编码方法、语句解码方法、装置、存储介质及设备，用于解决由于梯度消失现象导致机器学习模型的权值不准确，使得语句处理的准确性较低的问题。所述技术方案如下：

一方面，提供了一种语句编码方法，用于编码模型中，所述编码模型包括级联的n个处理节点，所述处理节点包括级联的一个第一单元和至少一个第二单元，n≥2；所述方法包括：

对待编码的源语句进行分词运算，得到m个词汇，m≤n；

利用所述n个处理节点中的第i个处理节点获取所述m个词汇中的第i个词汇，并获取第i-1个处理节点得到的第i-1个词汇向量，所述第i-1个词汇向量是所述m个词汇中的第i-1个词汇的编码向量，i≤m；

利用所述第i个处理节点中的第一单元对所述第i个词汇和所述第i-1个词汇向量进行线性运算和非线性运算，将得到的第i个运算结果输出给所述至少一个第二单元进行处理，得到第i个词汇向量；

在得到m个词汇向量后，根据所述m个词汇向量生成语句向量，所述语句向量用于确定目标语句或目标分类。

一方面，提供了一种语句解码方法，用于解码模型中，所述解码模型包括一个处理节点，所述处理节点包括级联的一个第一单元和至少一个第二单元；所述方法包括：

在第j个时刻，获取语句向量和第j个查询状态，所述语句向量是编码模型对待编码的源语句进行编码后得到的，所述第j个查询状态用于查询第j个时刻时所述源语句中编码的部分；

根据所述语句向量和所述第j个查询状态生成第j个源语言关注上下文，所述第j个源语言关注上下文是第j个时刻时所述源语句中编码的部分；

利用所述处理节点中的第一单元对所述第j个查询状态和所述第j个语言关注上下文进行线性运算和非线性运算，将得到的第j个运算结果输出给所述处理节点中的至少一个第二单元进行处理，得到第j个词汇；