[发明专利]一种数据处理方法及装置

权利要求书

1.一种数据处理方法，应用于模型，所述模型至少包括数据处理网络、注意力网络以及数据聚合网络，所述方法包括：

基于所述数据处理网络对输入数据处理，得到中间数据；

获取所述注意力网络输出的固定的注意力特征，所述固定的注意力特征是至少使用初始化的注意力特征训练所述模型后得到的，所述初始化的注意力特征中的包括的各个注意力权重中不全相同；

基于所述模型中的数据聚合网络、根据所述固定的注意力特征对所述中间数据处理，得到输出数据。

2.根据权利要求1所述的方法，所述初始化的注意力特征包括一层注意力权重，所述一层注意力权重中的多个注意力权重不全相同；

或者，

所述初始化的注意力特征包括至少两层注意力权重，不同层的注意力权重不全相同。

3.根据权利要求1所述的方法，所述方法还包括：

获取样本输入数据集，所述样本输入数据集中包括至少一个样本输入数据；

构建模型的网络结构，所述网络结构至少包括数据处理网络、注意力网络以及数据聚合网络，所述注意力网络用于输出注意力特征，其中，所述样本输入数据未向所述注意力网络输入；

使用所述样本数据集中的样本输入数据对所述模型中的网络参数进行训练，直至所述网络参数收敛，得到所述模型。

4.根据权利要求3所述的方法，所述数据处理网络用于获取所述样本输入数据并对所述样本输入数据进行处理，得到样本中间数据；

所述注意力网络用于输出注意力特征，输出的注意力特征包括多个注意力权重；

所述数据聚合网络用于根据所述注意力网络输出的注意力特征对所述样本中间数据进行处理，得到样本输出结果。

5.根据权利要求3或4所述的方法，所述模型的输入端包括所述数据处理网络的输入端；

所述数据处理网络的输出端与所述数据聚合网络的输入端连接；

所述注意力网络的输出端与所述数据聚合网络的输入端连接；

所述模型的输出端包括所述数据聚合网络的输出端。

6.根据权利要求3所述的方法，所述方法还包括：

在开始对所述模型中的网络参数进行训练之后，根据所述注意力网络对所述数据处理网络中的通道进行删减。

7.根据权利要求6所述的方法，所述根据所述注意力网络对所述数据处理网络中的通道进行删减，包括：

获取注意力网络中的各个通道的注意力权重；

根据所述注意力权重对所述数据处理网络中的通道进行删减。

8.根据权利要求7所述的方法，所述根据所述注意力权重对所述数据处理网络中的通道进行删减，包括：

对于所述注意力网络中的任意一个通道，判断所述注意力网络中的所述通道的注意力权重是否小于预设删减通道阈值，在所述注意力网络中的所述通道的注意力权重小于预设删减通道阈值的情况下，删减所述注意力网络中的所述通道在所述数据处理网络中对应的通道。

9.根据权利要求8所述的方法，所述方法还包括：

在所述注意力网络中的所述通道的注意力权重小于预设删减通道阈值的情况下，获取所述数据处理网络中剩余的通道的第一数量，以及获取所述注意力网络中的所述通道在所述数据处理网络中对应的通道的第二数量；

判断所述第一数量与所述第二数量之间的差值是否大于或等于预设最低通道阈值；

在所述差值大于或等于预设最低通道阈值的情况下，再执行所述删减所述注意力网络中的所述通道在所述数据处理网络中对应的通道的步骤。