[发明专利]图谱数据系统

说明书

本发明提供一种图谱数据系统，该图谱数据系统包括：数据采集设备，数据采集设备具有用于与大数据集群设备通信连接以获取日志数据的数据输入端；数据处理设备，数据处理设备的输入端与数据采集设备的输出端通信连接，数据处理装置设置为接收日志数据，并基于日志数据，输出目标图谱数据；图谱数据库设备，图谱数据库设备的输入端与数据处理设备的输出端通信连接，图谱数据库设备设置为基于目标图谱数据构建图谱数据网络。本发明提供的图谱数据系统，通过利用依次通信连接的数据采集设备、数据处理设备和图谱数据库设备，分别完成数据采集、数据处理和图谱数据网络构建工作，能够合理分配计算量，提高图谱数据库构建的效率。

技术领域

本发明涉及大数据技术领域，尤其涉及一种图谱数据系统。

背景技术

目前，在各种单位数字化建设的过程中，数据仓库已经成为了重要的环节，为单位的营销以及运营等过程的数据分析提供了大量的支持，随着业务需求的增加，数据仓库的管理难度也相应增加了，而这种管理难度增加主要体现在数据表数量的增加以及数据表之间的依赖关系复杂，提升了数据开发人员的开发和管理成本。

目前的图谱数据系统，采用单一的设备进行图谱数据的处理，这样计算量分配不合理，数据处理速度较慢，图谱数据库构建的效率较低。

发明内容

本发明提供一种图谱数据系统，用以解决现有技术中计算量分配不合理，数据处理速度较慢，图谱数据库构建的效率较低的缺陷，实现合理分配计算量，提高图谱数据库构建的效率。

本发明提供一种图谱数据系统，该图谱数据系统包括：数据采集设备，所述数据采集设备具有用于与大数据集群设备通信连接以获取日志数据的数据输入端；数据处理设备，所述数据处理设备的输入端与所述数据采集设备的输出端通信连接，所述数据处理装置设置为接收所述日志数据，并基于所述日志数据，输出目标图谱数据；图谱数据库设备，所述图谱数据库设备的输入端与所述数据处理设备的输出端通信连接，所述图谱数据库设备设置为基于所述目标图谱数据构建图谱数据网络。

根据本发明提供的一种图谱数据系统，所述数据采集设备的输出端通过消息队列的方式，向所述数据处理设备的输入端发送所述日志数据。

根据本发明提供的一种图谱数据系统，该图谱数据系统还包括：消息队列存储设备，所述消息队列存储设备的输入端与所述数据采集设备的输出端通信连接，所述消息队列存储设备的输出端与所述数据处理设备的输入端通信连接，所述消息队列存储设备用于缓存所述日志数据。

根据本发明提供的一种图谱数据系统，所述数据处理装置还设置为：基于所述日志数据，得到多个目标数据表标识以及多个所述目标数据表标识之间的关系信息，并输出基于所述多个目标数据表标识以及所述关系信息得到的目标图谱数据。

根据本发明提供的一种图谱数据系统，所述数据处理装置还设置为：在确认所述日志数据中存在关键字的情况下，对所述日志数据进行解析，得到多个目标数据表标识以及所述关系信息。

根据本发明提供的一种图谱数据系统，所述数据处理装置还设置为：基于所述关系信息，从多个所述目标数据表标识中筛选出具有依赖关系的作为依赖数据表标识；基于所述依赖数据表标识以及对应的所述关系信息，确定目标图谱数据。

根据本发明提供的一种图谱数据系统，所述数据采集设备设置为，接收用户的启动请求，并响应于所述启动请求，从所述大数据集群设备中获取日志数据。

根据本发明提供的一种图谱数据系统，所述图谱数据库设备还设置为接收关系查询请求，基于所述关系查询请求，确定参考数据表标识，基于所述参考数据表标识，从所述图谱数据网络中查找对应的关联数据表标识，基于所述参考数据表标识，以及所述关联数据表标识，确定查询结果，并发送所述查询结果。

根据本发明提供的一种图谱数据系统，所述图谱数据库设备还设置为基于所述参考数据表标识，在所述图谱数据网络中进行节点关系计算，得到与所述参考数据表标识对应的所述关联数据表标识。