[发明专利]数据供给方法、模型训练方法、装置、系统、设备和介质

权利要求书

1.一种数据供给方法，其特征在于，包括：

获取针对视频模型的训练请求，所述训练请求包括预先设定的批处理机制和本次训练对应的数据标识；

根据所述数据标识在分布式存储数据集获取匹配的目标视频数据，所述分布式存储数据集包括各类型的视频数据；

根据所述批处理机制对所述目标视频数据进行处理，得到所述视频模型对应的训练数据；

其中，所述根据所述批处理机制对所述目标视频数据进行处理，得到所述视频模型对应的训练数据，包括：

通过开放的传输控制协议端口接收对应批次下所述目标视频数据对应的各类视频关联内容，将所述批次下目标视频数据按照所述批处理机制进行处理，并加载至内存中，得到所述视频模型对应的训练数据。

2.根据权利要求1所述的方法，其特征在于，所述根据所述数据标识在分布式存储数据集获取匹配的目标视频数据，包括：

如果所述数据标识为单视频标识，则根据所述单视频标识在分布式存储数据集获取匹配的单个视频数据；

如果所述数据标识为打包视频标识，则根据所述打包视频标识在分布式存储数据集获取匹配的打包视频数据。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述数据标识在分布式存储数据集获取匹配的目标视频数据，包括：

如果所述目标视频数据为内部视频数据，则根据所述数据标识在分布式存储数据集获取匹配的目标视频数据；

如果所述目标视频数据为外部视频数据，则所述分布式存储数据集在外部网络获取匹配的目标视频数据后，根据所述数据标识在分布式存储数据集获取匹配的目标视频数据。

4.根据权利要求3所述的方法，其特征在于，所述外部视频数据存储在所述分布式存储数据集的缓存中。

5.根据权利要求1或2所述的方法，其特征在于，所述批处理机制包括对所述目标视频数据的分组方式。

6.一种模型训练方法，其特征在于，包括：

根据权利要求1至5任一项所述的数据供给方法，得到视频模型对应的训练数据；

将所述训练数据输入所述视频模型，得到训练后的视频模型。

7.根据权利要求6所述的方法，其特征在于，所述将所述训练数据输入所述视频模型，包括：

采用多线程解码所述训练数据；

预处理解码后的训练数据；

将预处理后的训练数据输入所述视频模型。

8.一种数据供给装置，其特征在于，包括：

训练请求获取模块，用于获取针对视频模型的训练请求，所述训练请求包括预先设定的批处理机制和本次训练对应的数据标识；

目标数据获取模块，用于根据所述数据标识在分布式存储数据集获取匹配的目标视频数据，所述分布式存储数据集包括各类型的视频数据；

训练数据确定模块，用于根据所述批处理机制对所述目标视频数据进行处理，得到所述视频模型对应的训练数据；

所述训练数据确定模块，具体用于通过开放的传输控制协议端口接收对应批次下所述目标视频数据对应的各类视频关联内容，将所述批次下目标视频数据按照所述批处理机制进行处理，并加载至内存中，得到所述视频模型对应的训练数据。

9.一种模型训练装置，其特征在于，包括：

训练数据获取模块，用于根据权利要求1至5任一项所述的数据供给方法，得到视频模型对应的训练数据；

视频模型训练模块，用于将所述训练数据输入所述视频模型，得到训练后的视频模型。

10.一种数据供给系统，其特征在于，包括：分布式数据存储端、批加载端以及分别与分布式数据存储端和批加载端连接的数据供给端；

所述分布式数据存储端存储分布式存储数据集；所述批加载端存储批处理机制，并生成训练请求；所述数据供给端设置有如权利要求8所述的数据供给装置。