[发明专利]用于跟踪存储系统的性能的方法和设备在审
申请号: | 202110469312.7 | 申请日: | 2021-04-28 |
公开(公告)号: | CN113138903A | 公开(公告)日: | 2021-07-20 |
发明(设计)人: | 陈诚 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F11/30 | 分类号: | G06F11/30;G06F11/34 |
代理公司: | 中科专利商标代理有限责任公司 11021 | 代理人: | 范芳茗 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 跟踪 存储系统 性能 方法 设备 | ||
1.一种用于跟踪存储系统的性能的方法,包括:
从所述存储系统获取所述存储系统的日志数据;
获取用于计算所述性能的程序代码;以及
由计算引擎基于所述日志数据和所述程序代码执行计算,以便获得针对所述性能的计算结果。
2.根据权利要求1所述的方法,其中获取所述存储系统的日志数据包括:
周期性地扫描所述存储系统,以查找新生成的日志数据;以及
以数据流的形式将查找到的日志数据提供给所述计算引擎。
3.根据权利要求2所述的方法,其中周期性地扫描所述存储系统包括以30秒、15秒或10秒的扫描周期来实时扫描所述存储系统。
4.根据权利要求1所述的方法,其中由计算引擎基于所述日志数据和所述程序代码执行计算包括:
从所述程序代码中提取计算任务;
对所述日志数据进行格式化,以生成文本流;以及
根据计算任务从所述文本流中提取数据并执行计算。
5.根据权利要求1所述的方法,其中所述计算引擎包括以下项之一:Spark计算框架、Flink计算框架、Mapreduce计算框架和Storm计算框架。
6.根据权利要求1所述的方法,还包括:
对所述计算结果执行可视化并将所述计算结果展示给用户。
7.根据权利要求1所述的方法,还包括:
通过将所述计算结果与所述性能的参数阈值进行比较,确定所述存储系统是否存在异常;以及
当确定所述存储系统存在异常时,向用户提示关于所述异常的信息。
8.根据权利要求1所述的方法,其中所述存储系统是包括多个存储设备的分布式存储系统,
其中从所述存储系统获取所述存储系统的日志数据包括:从所述多个存储设备中的每个存储设备获取日志数据。
9.一种用于跟踪存储系统的性能的设备,所述设备包括:
日志数据获取模块,被配置为从所述存储系统获取所述存储系统的日志数据;
程序代码获取模块,被配置为获取用于计算所述性能的程序代码;以及
性能计算模块,被配置为基于所述日志数据和所述程序代码执行计算,以便获得针对所述性能的计算结果。
10.根据权利要求9所述的设备,其中所述日志数据获取模块还包括:
日志扫描子模块,被配置为周期性地扫描所述存储系统,以查找新生成的日志数据;以及
日志传送子模块,被配置为以数据流的形式将查找到的日志数据提供给所述性能计算模块。
11.根据权利要求10所述的设备,其中所述日志扫描子模块被配置为以30秒、15秒或10秒的扫描周期来实时扫描所述存储系统。
12.根据权利要求9所述的设备,其中所述性能计算模块还被配置为:
从所述程序代码中提取计算任务;
对所述日志数据进行格式化,以生成文本流;以及
根据计算任务从所述文本流中提取数据并执行计算。
13.根据权利要求9所述的设备,其中所述性能计算模块包括以下项之一:Spark计算框架、Flink计算框架、Mapreduce计算框架和Storm计算框架。
14.根据权利要求9所述的设备,还包括:
可视化模块,被配置为对所述计算结果执行可视化并将所述计算结果展示给用户。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110469312.7/1.html,转载请声明来源钻瓜专利网。