[发明专利]多源异构日志数据处理方法、装置、设备及介质

权利要求书

1.一种多源异构日志数据处理方法，包括：

根据多源异构日志数据源生成元数据对象；

对所述多源异构日志数据源进行日志分析，得到日志分析结果；

根据所述元数据对象和所述日志分析结果得到元数据关系；

根据元数据关系和元数据对象生成所述多源异构日志数据源的元数据。

2.根据权利要求1所述的数据处理方法，所述根据多源异构日志数据源生成元数据对象包括：

对所述多源异构日志数据源进行数据导入检查；

在通过数据导入检查后，根据数据存储组件抽取所述多源异构日志数据源的模式；

根据所述模式抽取所述多源异构日志数据源的关键信息；

根据关键信息生成所述元数据对象。

3.根据权利要求1所述的数据处理方法，所述对所述多源异构日志数据源进行日志分析，得到日志分析结果包括：

根据所述多源异构日志数据源抽取目标日志；

对目标日志进行预处理；

根据预处理后的目标日志获取所有用户的上网记录；

根据上网记录进行日志分析，得到所述日志分析的结果。

4.根据权利要求2所述的数据处理方法，所述对所述多源异构日志数据源进行数据导入检查包括：

检查所述多源异构日志数据源的命名、格式、数据类型是否合法；

若所述多源异构日志数据源的命名、格式、数据类型合法，则通过所述数据导入检查。

5.根据权利要求2所述的数据处理方法，所述根据所述模式抽取所述多源异构日志数据源的关键信息包括：

根据所述模式，对所述多源异构日志数据源进行语法和语义分析；

根据所述语法和语义分析的结果得到所述多源异构日志数据源的数据属性粒度信息，所述数据属性粒度信息包含名称、类型及取值；

根据所述名称、类型及取值得到所述关键信息。

6.根据权利要求3所述的数据处理方法，根据上网记录进行日志分析，得到所述日志分析的结果包括：

根据上网记录中的上网和下网的时间差查询目标数据库；

根据上网记录中的网络地址查询所述目标数据库的所有上网行为数据集；

通过所述上网行为数据集确定eduroam数据，所述eduroam数据为所述日志分析的结果。

7.一种多源异构日志数据处理装置，包括：

元数据对象模块，用于根据多源异构日志数据源生成元数据对象；

日志分析模块，用于对所述多源异构日志数据源进行日志分析，得到日志分析结果；

元数据关系模块，用于根据所述元数据对象和所述日志分析结果得到元数据关系；

元数据模块，用于根据元数据关系和元数据对象生成所述多源异构日志数据源的元数据。

8.一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1～6中任一项所述的方法。

9.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～6中任一项所述的方法。

10.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1～6中任一项所述的方法。