[发明专利]一种用于机器学习的数据共享方法和虚拟训练装置

说明书

本发明提供一种用于机器学习训练的数据共享方法，包括：接收对应的数据集提供平台发送的数据索引信息；将所述数据索引信息上传至训练管理平台，以供所述训练管理平台根据所接收到的数据索引信息建立训练总任务；接收所述训练管理平台发送的训练子任务信息，所述训练子任务信息中包括待训练数据的数据索引信息；向所述待训练数据所归属的第一数据集提供平台发送获取数据请求，以供所述第一数据集提供平台在接收到所述获取数据请求后，返回所述待训练数据。本发明还提供一种用于机器学习训练的虚拟训练装置和数据共享系统，涉及通信技术领域。

技术领域

本发明涉及通信技术领域，具体涉及一种用于机器学习的数据共享方法、虚拟训练装置及数据共享系统。

背景技术

随着科技的日益发展，大数据已呈现爆炸式增长，大数据中隐藏了大量的信息，若能对大数据中的信息进行有效提取和利用，则能够对人们的生活带来诸多便利，以及带来不菲的经济效益。

现有技术中，基于大数据进行机器学习模型开发成为从大数据中获取有利信息的重要手段，这其中，机器学习模型开发者如何从数据提供方处共享到数据成为关键步骤，在实际应用中，作为其中一种方法，机器学习模型开发者预先从数据提供者(一个或多个数据提供者)处拷贝加密数据，这种获取大数据的方式使得机器学习模型开发者需要预先保存加密数据，从而容易发生数据泄露的问题；作为另一种方法，机器学习模型开发者无需事先拷贝数据，其通过将训练任务分配给数据提供者，由数据提供者自行搭建训练环境并基于自身所拥有的数据进行训练，这种方式一方面增加了数据提供者的工作量，从而降低了数据提供者的合作意愿，另一方面，机器学习模型开发者不能实时监控模型的训练过程，从而无法确保训练得出的模型的正确性。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一，提出了一种用于机器学习的数据共享方法、虚拟训练装置及数据共享系统，用以解决现有技术中存在的机器学习模型开发者使用大数据时容易发生数据泄露的问题。

一方面，本发明提供一种用于机器学习的数据共享方法，包括：

接收对应的数据集提供平台发送的数据索引信息；

将所述数据索引信息上传至训练管理平台，以供所述训练管理平台根据所接收到的数据索引信息建立训练总任务；

接收所述训练管理平台发送的训练子任务信息，所述训练子任务信息中包括待训练数据的数据索引信息；

向所述待训练数据所归属的第一数据集提供平台发送获取数据请求，以供所述第一数据集提供平台在接收到所述获取数据请求后，返回所述待训练数据。

优选的，在所述向所述待训练数据所归属的第一数据集提供平台发送获取数据请求的步骤之后，还包括：

接收所述第一数据集提供平台返回的加密后的所述待训练数据和解密索引信息；

根据所述解密索引信息获取解密密钥；

根据所述解密密钥对所述加密数据进行解密以得到所述待训练数据；

基于所述待训练数据和所述训练子任务信息进行模型训练。

优选的，所述根据所述解密索引信息获取解密密钥的步骤具体包括：

将所述解密索引信息添加签名后发送至所述第一数据集提供平台，以供所述第一数据集提供平台对所述解密索引信息的签名进行验证，并当验证通过时，根据所述解密索引信息从自身数据库中提取出对应的解密密钥，并返回所述解密密钥；

接收所述第一数据集提供平台返回的解密密钥。

优选的，所述解密索引信息中包含有获取对应的解密密钥的第二数据集提供平台的标识信息；

所述根据所述解密索引信息获取解密密钥的步骤具体包括：