[发明专利]一种日志存储方法及系统在审
申请号: | 201811173950.9 | 申请日: | 2018-10-09 |
公开(公告)号: | CN109344137A | 公开(公告)日: | 2019-02-15 |
发明(设计)人: | 许祥宾 | 申请(专利权)人: | 广东网安科技有限公司 |
主分类号: | G06F16/18 | 分类号: | G06F16/18;G06F16/13;G06F16/22 |
代理公司: | 广州一锐专利代理有限公司 44369 | 代理人: | 杨昕昕;董云 |
地址: | 523000 广东省东莞市南城街道新*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 日志存储 日志数据 调用 队列 数据接收线程 程序开启 高可用性 接收传输 数据传输 数据存储 数据丢包 增强服务 多节点 存储 分流 | ||
1.一种日志存储方法,其特征在于,包括:
接收到日志数据后,程序开启数据接收线程,进行数据传输;
接收传输的数据并进行队列化处理;
调用队列化处理后的数据,以多节点分流的形式进行存储。
2.根据权利要求1所述的日志存储方法,其特征在于,接收日志数据后,程序开启数据接收线程前,程序开放监听端口,监听日志数据的流入。
3.根据权利要求1所述的日志存储方法,其特征在于,所述开启数据接收线程,通过线程池管理进行。
4.根据权利要求1所述的日志存储方法,其特征在于,所述队列化处理包括将单一的事务处理解耦成消息中间件统一收集调配。
5.根据权利要求1所述的日志存储方法,其特征在于,所述日志存储包括:日志本地存储和日志入库。
6.根据权利要求5所述的日志存储方法,其特征在于,所述日志本地存储,是以树状多节点形式进行本地文件存储。
7.根据权利要求5所述的日志存储方法,其特征在于,所述日志入库,采用NoSQL和缓存数据库相结合的方法。
8.根据权利要求6所述的日志存储方法,其特征在于,所述树状多节点存储,是将日志流量按照不同来源进行标识,分类分目录存放于系统中,以形成“目录结构树”进行存储。
9.根据权利要求7所述日志采集方法,其特征在于,所述NoSQL,可进行数据下载及数据共享。
10.一种日志存储系统,其特征在于,包括:
数据传输单元,所述的数据接收单元用于接收日志后开启一个数
据接收线程,进行数据传输;
数据处理单元,所述的数据处理单元用于接收传输的数据并进行
队列化处理;
数据存储单元,所述数据存储单元用于调用队列化处理后的数
据,以多节点分流的形式进行存储。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东网安科技有限公司,未经广东网安科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811173950.9/1.html,转载请声明来源钻瓜专利网。