[发明专利]一种日志数据的处理方法及装置

说明书

本发明公开了一种日志数据的处理方法及装置，涉及计算机技术领域，主要目的在于通过统一行为数据的数据结构将异构日志数据表中的行为数据转化为同构行为数据表。本发明主要的技术方案为：根据异构日志数据表中包含的行为构成要素设置同构行为数据表的数据结构，所述异构日志数据表是具有不同数据结构的多张日志数据表；根据所述同构行为数据表的数据结构生成行为数据转换代码框架；解析所述异构日志数据表内的行为数据信息；将所述行为数据信息添加到所述行为数据转换代码框架内的对应位置中，得到数据转换的可执行代码；执行所述可执行代码得到一张以相同数据结构存储行为数据信息的同构行为数据表。

技术领域

本发明涉及计算机技术领域，尤其涉及一种日志数据的处理方法及装置。

背景技术

用户在各种网站、计算机应用、手持设备应用及其他介质中进行操作时产生的日志数据包含了用户的行为信息，这些日志数据在理解用户、支持业务等方面具有非常重要的价值。数据工程师从不同的角度对这些日志数据做清洗后可用于很多方面的分析。从关注用户行为的角度整理得到的数据，被称为行为数据。对于同一个用户，由于其使用的设备、系统或应用的不同会导致该用户的行为数据具有多种不同的数据结构，对于这种异构数据表，在进行数据处理时将变得十分麻烦，对此，需要将异构数据表尽可能地转化为具有相同或仅存在极少量差异的同构数据表进行数据处理。

目前在业界并没有表示用户行为数据的统一标准，因此当前的现状是：即便是在同一家公司，不同业务线的数据工程师开发的用户行为数据表结构、命名风格等也会千差万别，也就是说，这些包含了用户行为信息的数据表是异构的；更糟糕的是，这些数据往往只能满足所在业务的人员的需求，对其他业务的人员而言，可能因缺少某些感兴趣的字段而无法拿来即用，仍然需要经过一层数据加工来获取特定的字段。这些现状折射出了如下问题：

(1)对于数据工程师而言，若没有一套统一的行为数据的处理方法，不同业务的数据使用方提出的需求不尽相同，需要针对不同业务开发数据结构不同的行为数据表，开发流程不通用，行为数据表的开发效率难以提高；

(2)对于行为数据的使用者而言，检索自己想要的数据表并不容易(可能因为表命名不规范，也可能因为没有一个目录结构可以进行查找，导致或许想要的数据表是有的，但却不容易检索到)，使用门槛也很高(可能需要自己再加工得到其他字段才能使用，而不能拿来即用)；

(3)对于企业而言，由于表结构不规范、表字段不够丰富，会导致同一张表会有很多有细小差异性的副本(例如不同业务的不同的角色关注的字段不一样，数据使用者会对来源表进行个性化加工，导致产生很多副本)，大大增加了不必要的数据存储开销。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种日志数据的处理方法及装置，通过统一行为数据的数据结构将异构日志数据表中的行为数据转化为同构行为数据表，达到提高数据工程师的开发效率，降低数据消费者的使用门槛，以及为企业节约数据存储成本的目的。

为达到上述目的，本发明主要提供如下技术方案：

一方面，本发明提供一种日志数据的处理方法，该方法包括：

根据异构日志数据表中包含的行为构成要素设置同构行为数据表的数据结构，所述异构日志数据表是具有不同数据结构的多张日志数据表；

根据所述同构行为数据表的数据结构生成行为数据转换代码框架；

解析所述异构日志数据表内的行为数据信息；

将所述行为数据信息添加到所述行为数据转换代码框架内的对应位置中，得到数据转换的可执行代码；

执行所述可执行代码得到一张以相同数据结构存储行为数据信息的同构行为数据表。

另一方面，本发明提供一种日志数据的处理装置，该装置包括：