[发明专利]面向AI应用的数据版本管理方法、装置和计算机设备

权利要求书

1.一种面向AI应用的数据版本管理方法，其特征在于，所述方法包括：

获取面向AI应用的待管理数据，通过监控组件将所述待管理数据与已知数据集进行比对，标识出重复数据和新增数据；

删除所述重复数据，将所述待管理数据提交到本地仓库，通过哈希图结构建立所述新增数据和所述已知数据集的关联信息，建立所述新增数据在所述本地仓库中位置的索引信息，根据所述新增数据和所述关联信息，得到新版本数据的版本信息；

将所述新增数据、所述关联信息、所述索引信息和所述版本信息上传到远程仓库，完成所述待管理数据的增量式数据存储。

2.根据权利要求1所述的方法，其特征在于，所述获取待管理数据，通过监控组件将所述待管理数据与已知数据集进行比对，标识出重复数据和新增数据，包括：

获取面向AI应用的待管理数据，将所述待管理数据从工作区加载到缓存区后，通过监控组件将所述待管理数据与已知数据集进行比对，标识出重复数据和新增数据。

3.根据权利要求2所述的方法，其特征在于，所述获取待管理数据，将所述待管理数据从工作区加载到缓存区后，通过监控组件将所述待管理数据与已知数据集进行比对，标识出重复数据和新增数据，包括：

获取面向AI应用的待管理数据，将所述待管理数据从工作区加载到缓存区后，通过监控组件将所述待管理数据与已知数据集进行比对，标识出重复数据和新增数据；所述已知数据集为预设的共有数据集或用户先前提交的数据集。

4.根据权利要求3所述的方法，其特征在于，删除所述重复数据，将所述待管理数据提交到本地仓库，通过哈希图结构建立所述新增数据和所述已知数据集的关联信息，建立所述新增数据在所述本地仓库中位置的索引信息，根据所述新增数据和所述关联信息，得到新版本数据的版本信息，包括：

删除所述重复数据，将所述待管理数据提交到本地仓库；

通过哈希图结构建立所述新增数据和所述已知数据集的关联信息，并将所述新增数据和所述关联信息持久化存储在所述本地仓库中；

通过哈希图结构建立所述新增数据在所述本地仓库中位置的索引信息；

根据所述新增数据和所述关联信息，得到新版本数据的版本信息。

5.根据权利要求4所述的方法，其特征在于，在根据所述新增数据和所述关联信息，得到新版本数据的版本信息之前，还包括：

通过数据校验算法，确保所述新增数据和所述关联信息构成的新版本数据为完整数据。

6.根据权利要求5所述的方法，其特征在于，在将所述新增数据、所述关联信息、所述索引信息和所述版本信息上传到远程仓库，完成所述待管理数据的增量式数据存储之后，还包括：

根据需要下载的数据的索引信息和版本信息，通过组装式下载，将下载数据及其对应的关联信息从所述远程仓库中下载到所述本地仓库中；所述下载数据可以是其他用户所提交的数据；

根据所述关联信息，将所述下载数据与所述工作区当前的数据进行合并，得到协同开发数据。

7.根据权利要求1至6任意一项所述的方法，其特征在于，所述待管理数据的数据量为GB级。

8.一种面向AI应用的数据版本管理装置，其特征在于，所述装置包括：

数据扫描模块，用于获取面向AI应用的待管理数据，通过监控组件将所述待管理数据与已知数据集进行比对，标识出重复数据和新增数据；

数据版本更新模块，用于删除所述重复数据，将所述待管理数据提交到本地仓库，通过哈希图结构建立所述新增数据和所述已知数据集的关联信息，建立所述新增数据在所述本地仓库中位置的索引信息，根据所述新增数据和所述关联信息，得到新版本数据的版本信息；

数据上传模块，用于将所述新增数据、所述关联信息、所述索引信息和所述版本信息上传到远程仓库，完成所述待管理数据的增量式数据存储。