[发明专利]一种Python-Web环境中多用户共享使用Spark集群的实现方法和系统有效
| 申请号： | 201910568205.2 | 申请日： | 2019-06-27 |
| 公开（公告）号： | CN110471777B | 公开（公告）日： | 2022-04-15 |
| 发明（设计）人： | 易秀娟;孟珍;王学志;周园春 | 申请（专利权）人： | 中国科学院计算机网络信息中心 |
| 主分类号： | G06F9/54 | 分类号： | G06F9/54;G06F16/25;G06F16/28 |
| 代理公司： | 北京君尚知识产权代理有限公司 11200 | 代理人： | 邱晓锋 |
| 地址： | 100190 *** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种Python‑Web环境中多用户共享使用Spark集群的实现方法和系统。本发明引入多进程来支撑多个Spark上下文，能够利用有限数量的Spark上下文来服务和支持多用户的任务计算请求；利用协程而不是线程来守护子进程，协程之间自主调度；能够将任务计算结果或状态异步返回以便实时响应用户的请求，满足了Web实时交互式使用的需求；利用了Spark任务间调度的特性，对于一些耗时较长的任务，给予用户是否终止该任务的权限，能够让Web用户终止正在运行的Spark任务。本发明能够解决Python开发环境中多Web用户共享使用Spark集群的问题。 | ||
| 搜索关键词： | 一种 python web 环境 多用户 共享 使用 spark 集群 实现 方法 系统 | ||
【主权项】：
1.一种Python-Web环境中多用户共享使用Spark集群的实现方法，其特征在于，包括以下步骤：/nWeb服务器接收用户端提交的任务计算请求，将任务存入异步任务队列中；/nWeb服务器的主进程中的协程，将所述异步任务队列中的任务通过异步消息队列告知相应的子进程，每个子进程对应一个Spark上下文；/n子进程将任务提交至Spark集群以进行任务计算。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国科学院计算机网络信息中心，未经中国科学院计算机网络信息中心许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910568205.2/，转载请声明来源钻瓜专利网。
- 上一篇：应用数据通信方法、装置及系统
- 下一篇：插件管理系统及方法
