[发明专利]用于处理任务的方法和装置

说明书

技术领域

本申请涉及计算机技术领域，具体涉及互联网技术领域，尤其涉及用于处理任务的方法和装置。

背景技术

众所周知，云平台允许开发者们或是将写好的程序放在“云”里运行，或是使用“云”里提供的服务，或二者皆是。例如，基于深度学习框架(例如，谷歌的TensorFlow、百度的PaddlePaddle等等)开发的深度学习平台可以允许开发者将训练用数据和脚本等传入，然后再利用平台提供的深度框架完成学习过程或结果预测等任务，这样极大的方便了开发者的程序开发。开发者使用深度学习平台时需要将训练用数据、脚本等数据上传到深度学习平台，因此开发者传入的数据可能会被其他开发者使用，大大降低了开发者数据的安全性，不利于开发者数据的保护。同时，由于数据上传时使用的是公用网络，因此存在数据传输效率低等问题。

发明内容

本申请的目的在于提出一种改进的用于处理任务的方法和装置，来解决以上背景技术部分提到的技术问题。

第一方面，本申请实施例提供了一种用于处理任务的方法，该方法包括：接收客户端通过预先建立的网络通道发送的任务描述信息，其中，上述任务描述信息包括待执行脚本的存储地址和用于选取深度学习框架的选取信息，其中，上述客户端与部署有分布式存储系统的存储服务器集群通信连接，上述待执行脚本包括源数据信息，上述源数据信息用于指示源数据在上述分布式存储系统中的存储地址；基于上述任务描述信息通过上述网络通道获取待执行脚本和源数据；根据上述选取信息从预先设置的至少一个深度学习框架中选取待用深度学习框架；利用获取的源数据、待执行脚本以及上述待用深度学习框架执行任务，得到任务执行结果。

在一些实施例中，上述待执行脚本包括用于指示目的地地址的存储指示信息，其中，上述目的地地址是上述分布式存储系统中的、用于存储任务执行结果的地址；以及上述方法还包括：根据上述待执行脚本的存储指示信息，将得到的任务执行结果通过上述网络通道发送到上述分布式存储系统。

在一些实施例中，上述基于上述任务描述信息通过上述网络通道获取待执行脚本和源数据，包括：根据上述任务描述信息中的待执行脚本的存储地址通过上述网络通道从上述客户端中获取待执行脚本；根据上述待执行脚本中的源数据信息通过上述网络通道从上述分布式存储系统中获取执行任务所需的源数据。

在一些实施例中，上述利用获取的源数据、待执行脚本以及上述待用深度学习框架执行任务，得到任务执行结果，包括：利用获取的源数据、待执行脚本以及上述待用深度学习框架执行深度学习训练任务，得到训练完成的深度学习模型。

第二方面，本申请实施例提供了一种用于处理任务的装置，该装置包括：接收单元，用于接收客户端通过预先建立的网络通道发送的任务描述信息，其中，上述任务描述信息包括待执行脚本的存储地址和用于选取深度学习框架的选取信息，其中，上述客户端与部署有分布式存储系统的存储服务器集群通信连接，上述待执行脚本包括源数据信息，上述源数据信息用于指示源数据在上述分布式存储系统中的存储地址；获取单元，用于基于上述任务描述信息通过上述网络通道获取待执行脚本和源数据；选取单元，用于根据上述选取信息从预先设置的至少一个深度学习框架中选取待用深度学习框架；执行单元，用于利用获取的源数据、待执行脚本以及上述待用深度学习框架执行任务，得到任务执行结果。

在一些实施例中，上述待执行脚本包括用于指示目的地地址的存储指示信息，其中，上述目的地地址是上述分布式存储系统中的、用于存储任务执行结果的地址；以及上述装置还包括：发送单元，用于根据上述待执行脚本的存储指示信息，将得到的任务执行结果通过上述网络通道发送到上述分布式存储系统。

在一些实施例中，上述获取单元进一步用于：根据上述任务描述信息中的待执行脚本的存储地址通过上述网络通道从上述客户端中获取待执行脚本；根据上述待执行脚本中的源数据信息通过上述网络通道从上述分布式存储系统中获取执行任务所需的源数据。

在一些实施例中，上述执行单元进一步用于：利用获取的源数据、待执行脚本以及上述待用深度学习框架执行深度学习训练任务，得到训练完成的深度学习模型。

第三方面，本申请实施例提供了一种服务器，该服务器包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如第一方面中任一实现方式描述的方法。