[发明专利]一种离线日志数据处理的方法和装置

说明书

本发明公开了一种离线日志数据处理的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：抽取离线日志数据，并获取离线日志数据的属性信息；根据所述离线日志数据的属性信息，从构建的数据集合中确定所述离线日志数据的目标数据集合；所述构建的数据集合为根据预设的分类属性构建的；将所述离线日志数据存入所述目标数据集合。该方法能够快速的完成数据抽取和数据解析，并降低了任务的高并发，进而释放更多资源，降低了机器负载。

技术领域

本发明涉及计算机技术领域，尤其涉及一种离线日志数据处理的方法和装置。

背景技术

目前互联网公司在处理离线日志的时候大多采用T+1的处理方式，即将当天用户的流量日志分成N多个数据文件存储在数据服务器中，在第二天的凌晨从数据服务器中抽取日志数据文件到本地数据仓库。当所有数据文件都抽取到本地后开始进行数据整合解析，将每个访次内的浏览日志进行排序解析。该方法对于有大流量的公司来说，处理方式效率较低，甚至从数据抽取到数据解析到为下游提供数据要3到4个小时，而数据分析人员全部都在同一时段(例如4点到9点前)开始调起任务，导致集群负载大，任务高并发，资源消耗始终处于峰值。

现有技术中，对于用户浏览网站时产生大量流量日志，当日产生的所有流量基础日志都会上报到日志服务器，以数据文件的形式存放。其中，次日零点从日志服务器抽取前一天全量数据文件到数据仓库，将所有数据文件整合在一起进行访次内排序和解析。对于上述现有技术，存在以下技术问题：需要将前一天所有的基础日志全部抽到数据仓库后进行全量整合和排序，数据量大，实效差，耗时较长；下游数据分析需要在基础日志处理完后才能进行，基础日志耗时长，导致分析任务整体集中在一个时间范围内，任务高并发，耗时长，机器负载大。

发明内容

有鉴于此，本发明实施例提供一种离线日志数据处理的方法和装置，能够快速的完成数据抽取和数据解析，并降低了任务的高并发，释放更多资源，降低了机器负载。

为实现上述目的，根据本发明实施例的一个方面，提供了一种离线日志数据处理的方法。

本发明实施例的离线日志数据处理的方法包括：抽取离线日志数据，并获取离线日志数据的属性信息；根据所述离线日志数据的属性信息，从构建的数据集合中确定所述离线日志数据的目标数据集合；所述构建的数据集合为根据预设的分类属性构建的；将所述离线日志数据存入所述目标数据集合。

可选地，所述预设的分类属性为时间单元，所述属性信息中至少包括时间信息；

根据所述离线日志数据的属性信息，从构建的数据集合中确定所述离线日志数据的目标数据集合的步骤包括：根据所述离线日志数据的时间信息，确定当前时间单元数据集合，并确定与当前时间单元数据集合相邻的前一时间单元数据集合；确定所述当前时间单元数据集合与前一时间单元数据集合中重复的日志数据；去除所述当前时间单元数据集合中所述重复的日志数据，将该当前时间单元数据集合确定为目标数据集合。

可选地，确定所述当前时间单元数据集合与前一时间单元数据集合中重复的日志数据的步骤包括：确定所述当前时间单元数据集合与前一时间单元数据集合中日志数据的会话标识；确定所述当前时间单元数据集合与前一时间单元数据集合相同的会话标识，所述相同的会话标识对应的日志数据为重复的日志数据。

可选地，确定所述当前时间单元数据集合与前一时间单元数据集合相同的会话标识的步骤包括：基于Bloom Filter技术，构建所述当前时间单元数据集合与前一时间单元数据集合的会话标识集合；根据所述会话标识集合，确定所述当前时间单元数据集合与前一时间单元数据集合相同的会话标识。

可选地，所述预设的分类属性为安全级别。

为实现上述目的，根据本发明实施例的另一个方面，提供了一种离线日志数据处理的装置。

本发明实施例的离线日志数据处理的装置包括：