[发明专利]基于Transformer模型的数据预测方法、装置、服务器及存储介质

摘要

本申请涉及人工智能，提供一种基于Transformer模型的数据预测方法、装置、服务器及存储介质，该方法包括：获取样本语句的多个字词的词向量组成的词向量矩阵，并调用包括自注意力层的Transformer模型；将词向量矩阵输入自注意力层，以根据词向量矩阵生成查询矩阵、键矩阵和值矩阵，并根据随机失活算法和词向量矩阵生成注意力矩阵，以及根据查询矩阵、键矩阵、值矩阵和注意力矩阵，确定多个字词之间的关注程度的概率分布矩阵；根据概率分布矩阵调整Transformer模型的模型参数，直至模型收敛；获取待预测的目标词向量矩阵，将目标词向量矩阵输入至收敛的Transformer模型进行处理，得到预测向量矩阵。能够提高模型泛化性能，并提高模型预测结果准确度。