[发明专利]城市大脑AI计算中心分布式异构算力的调度方法及系统

说明书

本发明公开了一种城市大脑AI计算中心分布式异构算力的调度方法，包括：处理客户端提交的AI计算的任务请求，存储Pod数据到etcd；其中，在一些可选的实施例中任务请求符合Restful API规范；监控资源变化并做出反应；检查数据库的变化，创建期望数量的Pod实例；调用Kubernetes扩展调度器的定制化调度算法，并再次检查数据库的变化，根据设定规则将未被分配到具体节点的Pod分配到目标节点上，并更新数据库的记录；监控数据库的变化，管理后续Pod生命周期。本发明还公开了一种城市大脑AI计算中心分布式异构算力的调度系统。该城市大脑AI计算中心分布式异构算力的调度方法的目的是解决中心化算力不足、网络传输能力不足以及数据隐私安全性低的问题。

技术领域

本发明属于人工智能技术领域，具体涉及一种城市大脑AI计算中心分布式异构算力的调度方法及系统。

背景技术

城市大脑是以新基建项目为切入点，基于云计算、大数据和智能传感器等技术，搭建城市级神经感知网，汇聚城市所产生的各种数据资源，利用人工智能和区块链技术，在城市交通治理、公共安全、应急管理、网格防控、医疗卫生、文化旅游、环境保护、城市精细化管理等应用场景，实现城市的精细化、动态化管理，缓解“大城市病”，改善市民生活质量。

其中的云计算、大数据等数字技术，是构建城市大脑的基石。传统的应用方案常是基于政务网和互联网，实现数据和算力的存储和部署，基于中心化算力集群实现AI（Artificial Intelligence，人工智能）训练和推理任务的执行。这种中心化的云计算方式，在城市大脑的建设初期，尤其是视频摄像头、语音线路和其他智能传感器接入数量较少时是可行的，随着城市大脑建设的推进，以及数据接入量的增加，必然面临网络传输的能力不足问题和中心化算力不足的问题。

随着城市大脑建设的推进，以及数据接入量的增加，中心化的云计算方式，面临着如下几点问题：

1.中心化算力不足问题

随着接入数据的增多，也会增加AI集群的算力需求，当算力不足时，就需要对集群进行扩容，从而增加建设成本。要解决智能时代庞大的算力需求问题，仅仅依靠中心化的算力支持是远远不够的，算力必然会从云和端向网络边缘进行扩散。

2.数据隐私安全问题

由于城市大脑的建设是要服务于公众和社会，因此会接入互联网数据，如何保护数据隐私，也是数据安全传输时需要重点解决的一个问题。

3.网络传输能力不足问题

由于中心化的云计算方式需要把各接入设备的数据都回传到AI算力集群，随着接入的设备的增加，势必增加网络传输的压力，造成算力集群网络带宽能力不足的问题。

有鉴于此，本领域技术人员亟待提供一种城市大脑AI计算中心分布式异构算力的调度方法及系统用于解决上述问题。

发明内容

（一）要解决的技术问题

本发明要解决的技术问题是中心化算力不足、网络传输能力不足以及数据隐私安全性低。

（二）技术方案

本发明的第一方面提供了一种城市大脑AI计算中心分布式异构算力的调度方法，该调度方法包括以下步骤：

处理客户端提交的AI计算的任务请求，存储Pod数据到etcd；其中，所述任务请求符合Restful API规范；

监控资源变化并做出反应；

检查数据库的变化，创建期望数量的Pod实例；

调用Kubernetes扩展调度器的定制化调度算法，并再次检查所述数据库的变化，根据设定规则将未被分配到具体节点的Pod分配到目标节点上，并更新所述数据库的记录；