[发明专利]基于Spark的大数据网络日志采集分析和预警的方法、系统在审
申请号: | 201810732720.5 | 申请日: | 2018-07-05 |
公开(公告)号: | CN110690984A | 公开(公告)日: | 2020-01-14 |
发明(设计)人: | 易可可;汪潮;王威 | 申请(专利权)人: | 上海宝信软件股份有限公司 |
主分类号: | H04L12/24 | 分类号: | H04L12/24;H04L29/08 |
代理公司: | 31236 上海汉声知识产权代理有限公司 | 代理人: | 庄文莉 |
地址: | 200120 上海市浦*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明提供了一种基于Spark的大数据网络日志采集分析和预警的方法、系统,包括:日志原始文件获取模块(101):采集日志原始文件;日志采集模块(102):根据所述日志原始文件获得日志数据;日志存储模块(103):存储日志数据;数据逻辑处理模块(104):进行日志数据分析和并行计算,得到日志分析结果;分析结果存储模块(105):存储日志分析结果;可视化展示和预警模块(106):读取所述日志分析结果,展示所述日志分析结果或/和发出运维预警提示。本发明将实时处理和离线处理相结合,能够方便的对本网站相关信息快速分析和预警,避免花大量时间去寻找故障点,提高了运营效率,保障了网站的稳定和安全。 | ||
搜索关键词: | 日志分析 原始文件 日志 日志数据 网站 数据逻辑处理模块 预警 采集 读取 存储日志数据 日志采集模块 日志存储模块 并行计算 存储模块 存储日志 获取模块 快速分析 离线处理 实时处理 网络日志 相关信息 预警模块 预警提示 运营效率 大数据 故障点 可视化 运维 展示 分析 安全 | ||
【主权项】:
1.一种基于Spark的大数据网络日志采集分析和预警系统,其特征在于,包括:/n日志原始文件获取模块(101):采集日志原始文件;/n日志采集模块(102):根据所述日志原始文件获得日志数据;/n日志存储模块(103):存储日志数据;/n数据逻辑处理模块(104):进行日志数据分析,得到日志分析结果;/n分析结果存储模块(105):存储日志分析结果;/n可视化展示和预警模块(106):读取所述日志分析结果,展示所述日志分析结果或/和发出运维预警提示。/n
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海宝信软件股份有限公司,未经上海宝信软件股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201810732720.5/,转载请声明来源钻瓜专利网。