[发明专利]一种音视频大数据任务的端云协同评测系统

权利要求书

1.一种音视频大数据任务的端云协同评测系统，其特征在于，包括以下存储模块，通信模块，云端计算资源模块，运行模块，评测模块以及管理模块：

存储模块：存储模块主要用于存储音视频大数据任务的评测样本、评测程序、对应评测程序的配置文件，用户上传的运行程序以及对应的配置文件，程序运行的结果以及样本与运行结果的评测结果，存储模块通过管理模块与通信模块实现计算机集群之间的任务文件交换与存储；

通信模块：通信模块通过不同通信协议完成各个模块之间数据信息的交换；

云端计算资源模块：包括云端计算机集群，通过管理模块合理调度资源满足运行模块、评测模块的任务需求；

运行模块：通过管理模块生成容器，并通过配置文件，在对应容器安装相应的运行环境，运行程序，管理模块调度资源得到程序的运行结果，通过通信模块保存到存储模块中；

评测模块：通过管理模块生成容器，并通过评测配置文件在对应文件安装环境，调用评测程序，将存储模块中的样本，以及保存到存储模块中的运行程序的结果传送到云端计算资源模块中进行评测，生成评测结果，保存到存储模块中；

管理模块：通过集群管理服务将存储模块以及云端计算资源连接起来，并通过传输模块传输存储模块中的文件和程序，通过资源监控与调度，满足运行模块与评测模块的需求，最终完成音视频任务；

所述的存储模块建立在本地主机上，其中，存储服务通过Gitlab服务提供，通过Gitlab搭建一个项目仓库，用于保存音视频大数据任务的评测样本、评测程序、对应评测程序的配置文件，用户上传的运行程序以及对应的配置文件，程序运行的结果以及样本与运行结果的评测结果；

所述的通信模块：用户上传程序以及配置文件通过git协议传到存储模块种，计算资源运行程序以及评测程序，通过节点与节点以及节点与主机之间的ssh协议通信来完成；

所述的管理模块通过容器集群管理系统来实现管理功能，采用Kubernetes服务，通过Kubernetes将主机与云端计算资源模块的云端计算资源集群连接，将主机作为Master，其中云端计算资源模块中的每台服务可以作为节点Node；该服务在Master以及Node上分别有一些组件，用于容器资源监控以及调度；其中Master包括API Service，ETCD，Scheduler以及ControllerManager，其中ETCD，Scheduler以及Controller Manager资源/调用操作通过API Service提供接口进行；ETCD是Kubernetes默认存储系统，将集群中的运行结果以及评测结果先保存，在备份到Gitlab中，Scheduler监听集群中的容器分配情况，将容器分配到尚未使用的节点中，ControllerManager用来管理各个线程；节点组件kubelet是节点代理，监视已经分配给节点的容器运行，kube-proxy监听API Server中服务和已分配容器节点的变化，并通过IP表配置服务的负载均衡，最后是Pod，Pod是云端计算资源集群上运行的一个进程，每个Pod中可以对应一个或多个容器。

2.根据权利要求1所述的一种音视频大数据任务的端云协同评测系统的使用方法，其特征在于，步骤如下：

步骤一：在本地主机搭建存储模块，通过Gitlab服务搭建项目仓库，预先存储音视频大数据任务的评测样本、对应评测样本的评测程序、以及调用评测程序的配置文件；用户通过通信模块的git协议上传程序以及配置文件到Gitlab中；

步骤二：完成管理模块的搭建，并通过管理模块管理运行模块，评测模块以及云端计算资源

管理模块通过容器集群管理系统来实现管理功能，采用Kubernetes服务；通过Kubernetes将主机与云端计算资源模块连接，将主机作为Master，其中云端计算资源模块中的每台服务作为节点Node；

Kubernetes服务通过一系列组件完成容器资源监控以及调度，实现运行模块与评测模块功能；Kubernetes服务在Master以及Node上各有一些组件，其中Master包括APIService，ETCD，Scheduler以及Controller Manager，其中ETCD，Scheduler以及ControllerManager资源/调用操作通过API Service提供接口进行；ETCD是Kubernetes默认存储系统，将集群中的运行结果以及评测结果先保存，再通过通信模块备份到Gitlab中，Scheduler监听集群中的容器分配情况，将容器分配到尚未使用的节点中，ControllerManager用来管理各个线程；节点组件kubelet是节点代理，监视已经分配给节点的容器运行，kube-proxy监听API Server中服务和已分配容器节点的变化，并通过IP表配置服务的负载均衡，最后是Pod，Pod是云端计算资源集群上运行的一个进程，每个Pod中可以对应一个或多个容器；

步骤三：运行模块以及评测模块运行，运行模块和评测模块是运行在云端计算资源模块上的脚本文件，当用户上传文件到Gitlab项目仓库中结束，主机通过通信模块的ssh协议发送信号到运行模块并通过管理模块生成多个Pod进程，每个Pod对应一个任务的多个容器，运行模块通过管理模块将配置文件以及运行程序通过ssh协议调用到对应任务Pod中的容器，解析配置文件，完成环境的安装，运行程序并通过管理模块完成容器资源监控以及调度生成最终的结果，当结果生成时发送信号给评测模块，通过管理模块将对应样本以及评测程序通过ssh协议传输到对应评测任务的Pod中，运行评测程序，产生结果，传输到Gitlab项目仓库中，用户能够通过git协议查看保存在Gitlab中的结果。