[发明专利]一种数据处理、模型训练方法、装置、设备以及存储介质

说明书

本公开提供了一种数据处理、模型训练方法、装置、设备以及存储介质，涉及人工智能技术领域，具体为深度学习、计算机视觉技术领域，可应用于图像处理、视频处理等视觉数据处理场景。具体实现方案为：获得待处理数据的特征序列；计算特征序列中各特征值对应的注意力Attention系数，其中，每一特征值对应的Attention系数表征该特征值依赖特征序列中各特征值的程度；采用预设的正则项，对Attention系数进行稀疏化处理；基于稀疏化处理后的Attention系数对特征序列中的特征值进行调整；根据调整后的特征值，对待处理数据进行数据处理。应用本公开实施例提供的方案进行数据处理，能够降低数据处理的计算复杂度。

技术领域

本公开涉及人工智能技术领域，具体为深度学习、计算机视觉技术领域，可应用于图像处理、视频处理等视觉数据处理场景。

背景技术

近年来神经网络技术得到了越来越广泛的应用，各种应用场景中使用不同的网络模型对数据进行处理。网络模型对待处理数据进行处理时，一般获得待处理数据的特征序列，然后根据上述特征序列对待处理数据进行处理。

发明内容

本公开提供了一种数据处理、模型训练方法、装置、设备以及存储介质。

根据本公开的一方面，提供了一种数据处理方法，包括：

获得待处理数据的特征序列；

计算所述特征序列中各特征值对应的注意力Attention系数，其中，每一特征值对应的Attention系数表征该特征值依赖所述特征序列中各特征值的程度；

采用预设的正则项，对所述Attention系数进行稀疏化处理；

基于稀疏化处理后的Attention系数对所述特征序列中的特征值进行调整；

根据调整后的特征值，对所述待处理数据进行数据处理。

根据本公开的另一方面，提供了一种模型训练方法，包括：

将样本数据输入预设的网络模型；

获得所述网络模型输出的所述样本数据的样本特征序列中各特征值对应的经稀疏化处理的样本Attention系数、以及基于各特征调整值对所述样本数据进行数据处理的处理结果，其中，所述稀疏化处理基于预设的正则项实现，各特征调整值为：基于所述样本Attention系数对各特征值进行调整得到的值；

根据所述样本Attention系数，获得对所述样本数据进行数据处理的第一损失，并根据所述处理结果和所述样本数据的处理标注信息，获得对所述样本数据进行数据处理的第二损失；

基于所述第一损失和第二损失，对所述网络模型进行训练。

根据本公开的另一方面，提供了一种数据处理装置，包括：

特征序列获得模块，用于获得待处理数据的特征序列；

Attention系数计算模块，用于计算所述特征序列中各特征值对应的注意力Attention系数，其中，每一特征值对应的Attention系数表征该特征值依赖所述特征序列中各特征值的程度；

稀疏化处理模块，用于采用预设的正则项，对所述Attention系数进行稀疏化处理；

特征值调整模块，用于基于稀疏化处理后的Attention系数对所述特征序列中的特征值进行调整；

数据处理模块，用于根据调整后的特征值，对所述待处理数据进行数据处理。

根据本公开的另一方面，提供了一种模型训练装置，包括：

样本数据输入模块，用于将样本数据输入预设的网络模型；