[发明专利]大数据平台运行状态的监控方法和系统有效
| 申请号： | 201810108116.5 | 申请日： | 2018-02-02 |
| 公开（公告）号： | CN108319538B | 公开（公告）日： | 2019-11-08 |
| 发明（设计）人： | 杨鹏;黄晓鹏;黄凌染;张颖;潘浩;赵子颖;谢安涛 | 申请（专利权）人： | 世纪龙信息网络有限责任公司 |
| 主分类号： | G06F11/30 | 分类号： | G06F11/30 |
| 代理公司： | 广州华进联合专利商标代理有限公司 44224 | 代理人： | 余永文 |
| 地址： | 510630 广东省广州市天河*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种大数据平台运行状态的监控方法和系统，该方法包括步骤：确定大数据平台的计算任务的各个任务阶段；通过预先部署在大数据平台的监控节点获取计算任务在各个任务阶段的任务执行情况；其中，所述监控节点与所述大数据平台的计算任务的各个任务阶段所在节点对应部署；根据所述计算任务在各个任务阶段的任务执行情况监控大数据平台的运行状态。上述方案通过预先部署的监控节点获取大数据平台的计算任务在各个任务阶段的任务执行情况，根据任务执行情况监控大数据平台的运行状态，克服了传统技术通过监控大数据平台的服务组件而导致准确性偏低的问题，实现对大数据平台的运行状态进行准确监控，还保证了大数据平台的运行效率。 | ||
| 搜索关键词： | 大数据 任务执行 监控 监控节点 运行状态 平台运行状态 部署 服务组件 运行效率 保证 | ||
【主权项】：
1.一种大数据平台运行状态的监控方法，其特征在于，包括步骤：确定大数据平台的计算任务的各个任务阶段；通过预先部署在大数据平台的监控节点获取所述计算任务在各个任务阶段的任务执行情况；其中，所述监控节点与所述大数据平台的计算任务的各个任务阶段所在节点对应部署；所述通过预先部署在大数据平台的监控节点获取所述计算任务在各个任务阶段的任务执行情况的步骤包括：调用预先部署在大数据平台与所述计算任务的类型相应的监控节点，获取所述类型的计算任务在相应任务阶段的任务执行情况；其中，所述计算任务的类型包括离线任务和实时任务；其中，所述计算任务的类型为离线任务，所述计算任务的任务阶段是数据迁移阶段；所述获取所述类型的计算任务在相应任务阶段的任务执行情况的步骤包括：在所述大数据平台将离线任务的数据迁移到指定的HDFS目录时，获取所述离线任务在该HDFS目录中的文件数目和该大数据平台的数据迁移程序生成的响应码；根据所述文件数目和响应码判断所述离线任务在数据迁移阶段的任务是否成功执行；所述计算任务的类型为离线任务，所述计算任务的任务阶段是数据清洗阶段；所述获取所述类型的计算任务在相应任务阶段的任务执行情况的步骤包括：在所述大数据平台采用spark对离线任务的数据进行清洗过滤时，获取数据清洗程序生成的响应码；根据该响应码判断所述离线任务在数据清洗阶段的任务是否成功执行；根据所述计算任务在各个任务阶段的任务执行情况监控所述大数据平台的运行状态。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于世纪龙信息网络有限责任公司，未经世纪龙信息网络有限责任公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810108116.5/，转载请声明来源钻瓜专利网。
