[发明专利]一种模型训练方法、装置及电子设备

权利要求书

1.一种模型训练方法，其特征在于，所述方法包括：

确定N种类型的样本数据，所述样本数据包括在通信网络中由网络设备产生的数据，N≥1；

基于所述样本数据，对第一目标模型进行自监督训练，其中，所述第一目标模型中包括第一子模型，所述第一子模型包括第一网络和第二网络，所述第一网络中包括N种第一子网络，每种所述第一子网络均用于对一种类型的样本数据进行特征提取，以得到N个第一特征，所述第二网络中包括N种第二子网络，每种所述第二子网络均用于基于N个所述第一特征，对一种类型的样本数据进行预测。

2.根据权利要求1所述的方法，其特征在于，N种类型的样本数据包括：离散Token序列数据、高维连续型时间序列数据和事件序列数据，所述第一网络为编码器，所述第二网络为解码器；

所述离散Token序列数据对应的第一子网络为基于Transformer进行编码的网络，所述离散Token序列数据对应的第二子网络为基于Transformer进行解码的网络；

所述高维连续型时间序列数据和所述事件序列数据对应的第一子网络均为基于循环神经网络RNN进行编码的网络，所述高维连续型时间序列数据和所述事件序列数据对应的第二子网络均为基于RNN进行解码的网络。

3.根据权利要求1或2所述的方法，其特征在于，所述第一目标模型中还包括第二子模型，所述第二子模型基于与通信领域相关的知识训练得到，所述第二子模型用于生成所述N种类型的样本数据中蕴含的通信领域相关的知识的表示，以得到第二特征；

其中，每种所述第二子网络均用于基于所述第二特征和N个所述第一特征，对一种类型的样本数据进行预测。

4.根据权利要求3所述的方法，其特征在于，当所述样本数据为离散Token序列数据和/或事件序列数据时，通过所述第二子模型获取所述样本数据的语义表征，以得到所述第二特征；

当所述样本数据为高维连续型时间序列数据时，通过所述第二子模型获取预设时间内的所述样本数据的语义表征，以得到所述第二特征。

5.根据权利要求1-4任一所述的方法，其特征在于，在基于所述样本数据，对第一目标模型进行自监督训练之后，所述方法还包括：

确定目标任务对应的目标神经网络；

将所述目标神经网络添加至所述第一目标模型中，以得到第二目标模型，其中，所述目标神经网络的输入为所述第一子模型中第一网络的输出；

基于所述目标任务对应的具有标注的样本数据，对所述第二目标模型进行训练。

6.一种模型训练装置，其特征在于，所述装置包括：

确定单元，用于确定N种类型的样本数据，所述样本数据包括在通信网络中由网络设备产生的数据，N≥1；

训练单元，用于基于所述样本数据，对第一目标模型进行自监督训练，其中，所述第一目标模型中包括第一子模型，所述第一子模型包括第一网络和第二网络，所述第一网络中包括N种第一子网络，每种所述第一子网络均用于对一种类型的样本数据进行特征提取，以得到N个第一特征，所述第二网络中包括N种第二子网络，每种所述第二子网络均用于基于N个所述第一特征，对一种类型的样本数据进行预测。

7.根据权利要求6所述的装置，其特征在于，N种类型的样本数据包括：离散Token序列数据、高维连续型时间序列数据和事件序列数据，所述第一网络为编码器，所述第二网络为解码器；

所述离散Token序列数据对应的第一子网络为基于Transformer进行编码的网络，所述离散Token序列数据对应的第二子网络为基于Transformer进行解码的网络；

所述高维连续型时间序列数据和所述事件序列数据对应的第一子网络均为基于循环神经网络RNN进行编码的网络，所述高维连续型时间序列数据和所述事件序列数据对应的第二子网络均为基于RNN进行解码的网络。