[发明专利]数据供给方法、模型训练方法、装置、系统、设备和介质

说明书

本发明公开了一种数据供给方法、模型训练方法、装置、系统、设备和介质。其中，该数据供给方法包括：获取针对视频模型的训练请求，所述训练请求包括预先设定的批处理机制和本次训练对应的数据标识；根据所述数据标识在分布式存储数据集获取匹配的目标视频数据，所述分布式存储数据集包括各类型的视频数据；根据所述批处理机制对所述目标视频数据进行处理，得到所述视频模型对应的训练数据。本发明实施例提供的技术方案，直接对视频数据进行训练，所需占用的存储空间小，读取视频数据所需花费的时间少，提高了视频模型的训练效率。

技术领域

本发明实施例涉及视频领域，尤其涉及一种数据供给方法、模型训练方法、装置、系统、设备和介质。

背景技术

目前针对视频模型的训练，一般先获取视频数据，将视频数据解析为对应的图片(即视频帧)和音频信息，分别将图片和音频信息存储为数据文件，在训练视频模型的过程中，至少采用如下方式之一：从图片数据文件中读取图片进行训练以及从音频数据文件中读取音频信息进行训练。

采用现有的视频模型的训练数据供给方式：如果直接存储视频数据，所需占用的存储空间较大，而图片数据文件和音频数据文件所需占用的存储空间比对应的视频数据的存储空间更大，因此，需要占用训练设备更多的存储空间。另外，由于图片数据文件和音频数据文件的数据量非常大，在训练过程中，需要花费较多时间用于读取图片和音频信息至少之一，使得训练的效率较低。

发明内容

本发明实施例提供了一种数据供给方法、模型训练方法、装置、系统、设备和介质，提高视频模型的训练效率。

第一方面，本发明实施例提供了一种数据供给方法，该方法包括：

获取针对视频模型的训练请求，所述训练请求包括预先设定的批处理机制和本次训练对应的数据标识；

根据所述数据标识在分布式存储数据集获取匹配的目标视频数据，所述分布式存储数据集包括各类型的视频数据；

根据所述批处理机制对所述目标视频数据进行处理，得到所述视频模型对应的训练数据。

第二方面，本发明实施例提供了一种模型训练方法，该方法包括：

根据第一方面中的数据供给方法，得到视频模型对应的训练数据；

将所述训练数据输入所述视频模型，得到训练后的视频模型。

第三方面，本发明实施例提供了一种数据供给装置，该装置包括：

训练请求获取模块，用于获取针对视频模型的训练请求，所述训练请求包括预先设定的批处理机制和本次训练对应的数据标识；

目标数据获取模块，用于根据所述数据标识在分布式存储数据集获取匹配的目标视频数据，所述分布式存储数据集包括各类型的视频数据；

训练数据确定模块，用于根据所述批处理机制对所述目标视频数据进行处理，得到所述视频模型对应的训练数据。

第四方面，本发明实施例提供了一种模型训练装置，该装置包括：

训练数据获取模块，用于根据第一方面中的数据供给方法，得到视频模型对应的训练数据；

视频模型训练模块，用于将所述训练数据输入所述视频模型，得到训练后的视频模型。

第五方面，本发明实施例提供了一种数据供给系统，该系统包括：分布式数据存储端、批加载端以及分别与分布式数据存储端和批加载端连接的数据供给端；所述分布式数据存储端存储分布式存储数据集；所述批加载端存储批处理机制，并生成训练请求；所述数据供给端设置有如第三方面中的数据供给装置。