[发明专利]一种大数据日志归一化方法及工具在审
| 申请号： | 201810790318.2 | 申请日： | 2018-07-18 |
| 公开（公告）号： | CN109033319A | 公开（公告）日： | 2018-12-18 |
| 发明（设计）人： | 孙俊虎 | 申请（专利权）人： | 长扬科技（北京）有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 厦门福贝知识产权代理事务所(普通合伙) 35235 | 代理人： | 郝学江 |
| 地址： | 100080 北京*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种大数据日志归一化方法，包括：采集阶段获取源日志数据信息并缓存；预处理阶段定义模板；归一化阶段，将源日志数据进行分割过滤，然后按照预设的标注模板进行转换，生成统一归一化日志数据；整合阶段，对归一化的日志数据进行保存维护。一种大数据日志归一化工具，包括：采集单元，获取源日志数据信息并缓存；预处理单元，定义处理模板，将所述源日志数据进行处理，生成有特定含义数据字段；归一化单元，对所述有特定含义的数据字段按照预设标注模板重新分类转换，生成格式统一的归一化日志数据；整合单元，对归一化的日志数据进行保存和维护。本发明提供的方案可以将多样化数据格式统一化，使得数据的挖掘效率更高，性能提升。 | ||
| 搜索关键词： | 日志数据 归一化 大数据 日志 缓存 获取源 预设 标注 数据格式统一 归一化单元 预处理单元 预处理阶段 采集单元 定义处理 定义模板 格式统一 含义数据 数据字段 性能提升 整合单元 保存 转换 整合 字段 过滤 采集 维护 分割 分类 挖掘 统一 | ||
【主权项】：
1.一种大数据日志归一化方法，其特征在于，包括：采集阶段，获取源日志数据信息，并进行缓存；预处理阶段，根据采集源日志数据设置归一化标准模板、增强模板；归一化阶段，将所述源日志数据进行分割、过滤，然后按照预设的标注模板进行转换，生成格式统一的归一化日志数据；整合阶段，对所述归一化的日志数据进行保存和维护。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于长扬科技（北京）有限公司，未经长扬科技（北京）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810790318.2/，转载请声明来源钻瓜专利网。
- 上一篇：智能问答方法及装置
- 下一篇：一种双语新闻聚合方法及系统
