[发明专利]图谱数据处理方法及装置

说明书

本发明提供一种图谱数据处理方法及装置，该图谱数据处理方法包括：获取日志数据；在确认日志数据中存在关键字的情况下，对日志数据进行解析，得到多个目标数据表标识以及多个目标数据表标识之间的关系信息；基于关系信息，从多个目标数据表标识中筛选出具有依赖关系的作为依赖数据表标识；基于依赖数据表标识以及对应的关系信息，生成目标图谱数据；输出目标图谱数据。本发明提供的图谱数据处理方法及装置，判断日志数据中是否存在关键字，在存在关键字的情况下，才对日志数据进行解析，并根据关系信息筛选出具有依赖关系的作为依赖数据表标识，能排除无关数据，且能将不存在依赖关系的数据进行排除，能提高目标图谱数据的有效性。

技术领域

本发明涉及大数据技术领域，尤其涉及一种图谱数据处理方法及装置。

背景技术

目前，在各种单位数字化建设的过程中，数据仓库已经成为了重要的环节，为单位的营销以及运营等过程的数据分析提供了大量的支持，随着业务需求的增加，数据仓库的管理难度也相应增加了，而这种管理难度增加主要体现在数据表数量的增加以及数据表之间的依赖关系复杂，提升了数据开发人员的开发和管理成本。

目前的图谱数据处理方法，存在较多的无关数据，对有效数据造成干扰，使得数据有效性较差。

发明内容

本发明提供一种图谱数据处理方法及装置，用以解决现有技术中存在较多的无关数据，对有效数据造成干扰，使得数据有效性较差的缺陷，实现排除无关数据，且能够将不存在依赖关系的数据进行排除，能够提高目标图谱数据的有效性。

本发明提供一种图谱数据处理方法，该图谱数据处理方法包括：获取日志数据；在确认所述日志数据中存在关键字的情况下，对所述日志数据进行解析，得到多个目标数据表标识以及多个所述目标数据表标识之间的关系信息；基于所述关系信息，从多个目标数据表标识中筛选出具有依赖关系的作为依赖数据表标识；基于所述依赖数据表标识以及对应的所述关系信息，生成目标图谱数据；输出所述目标图谱数据。

根据本发明提供的一种图谱数据处理方法，该图谱数据处理方法还包括：在确认所述日志数据中不存在关键字的情况下，基于所述日志数据生成消息流信息，所述消息流信息用于记录数据处理过程，不参与图谱数据构建；输出所述消息流信息。

根据本发明提供的一种图谱数据处理方法，该图谱数据处理方法还包括：基于所述关系信息，从多个目标数据表标识中筛选出不具有依赖关系的作为独立数据表标识；基于所述独立数据表标识，生成消息流信息，所述消息流信息用于记录数据处理过程，不参与图谱数据构建；输出所述消息流信息。

根据本发明提供的一种图谱数据处理方法，所述输出所述目标图谱数据，包括：将所述目标图谱数据写入到图谱数据库设备，以供所述图谱数据库设备构建图谱数据网络。

本发明还提供一种图谱数据处理装置，该图谱数据处理装置包括：获取模块，用于获取日志数据；解析模块，用于在确认所述日志数据中存在关键字的情况下，对所述日志数据进行解析，得到多个目标数据表标识以及多个所述目标数据表标识之间的关系信息；筛选模块，用于基于所述关系信息，从多个目标数据表标识中筛选出具有依赖关系的作为依赖数据表标识；生成模块，用于基于所述依赖数据表标识以及对应的所述关系信息，生成目标图谱数据；输出模块，用于输出所述目标图谱数据。

根据本发明提供的一种图谱数据处理装置，该图谱数据处理装置还包括：第二消息流信息生成模块，用于基于所述关系信息，从多个目标数据表标识中筛选出不具有依赖关系的作为独立数据表标识；基于所述独立数据表标识，生成消息流信息，所述消息流信息用于记录数据处理过程，不参与图谱数据构建；输出所述消息流信息。

根据本发明提供的一种图谱数据处理装置，所述输出模块还用于：将所述目标图谱数据写入到图谱数据库设备，以供所述图谱数据库设备构建图谱数据网络。