[发明专利]一种实时知识图谱构建系统

摘要

本发明公开了一种实时知识图谱构建系统，涉及图分析平台技术领域。该实时知识图谱构建系统，包括应用程序部分、知识存储模块、知识消费模块、知识总线、数据源总线和数据源模块；其中每个部分的具体工作如下：A1、数据源模块负责数据采集并接入KAFKA消息队列；B1、源数据总线负责传输需要提取实体/关系的基础数据；C1、知识提取模块负责用SparkStreaming消费KAFKA中的基础数据进行实体提取、关系提取。该实时知识图谱构建系统，通过应用程序部分、知识存储模块、数据源总线和数据源模块等模块的配合使用，使用Spark Streaming消费KAFKA中的基础数据进行实体提取、关系提取，将失败数据采用HBase记录在外部存储内，同时可以解决提取数据丢失或者重复以及数据源接入单一的问题。

主权项

1.一种实时知识图谱构建系统，其特征在于：包括应用程序部分、知识存储模块、知识消费模块、知识总线、数据源总线和数据源模块；其中每个部分的具体工作如下：A1、数据源模块负责数据采集并接入KAFKA消息队列；B1、源数据总线负责传输需要提取实体/关系的基础数据；C1、知识提取模块负责用Spark Streaming消费KAFKA中的基础数据进行实体提取、关系提取；D1、知识总线负责传输Spark Streaming提取完成的实体/关系数据；E1、知识消费模块负责消费KAFKA中的实体/关系数据写入对应的外部存储为实时图查询提供查询数据；F1、应用程序部分负责各种实时查询场景的图查询；所述数据源总线内设置有KAFKA集群1，所述KAFKA集群1由Server1‑3组成，所述知识总线内设置有KAFKA集群11，所述KAFKA集群1由Server11‑13组成，其中每个Server中设置有两个操作单元；所述数据源包括业务服务器日志文件、外部REST API请求、外部数据存储；所述知识消费模块内包括GDB消费者、HBase消费者和ES消费者，三者具体作用如下：A2、HBase消费者程序读取消息队列中的实体/关系写入HBase数据库，供后续查看实体关系详情使用；B2、GDB消费者程序读取消息队列中的实体/关系写入GDB，供后续实时图查询使用；C2、ES消费者读取消息队列中的实体写入Elasticsearch，供后续实时查询时实体的二级索引使用；所述应用程序的K层展开、最短路径、全路径、社区发现等查询场景通过调用ES、GDB、HBase等对应库的API完成图的关系查找及详情查询。其中具体操作流程如下：S1、数据源模块通过Flume/REST API/外部存储获取数据源并将数据源发送至数据源总线，其中Flume通过日志文件获取数据；S2、数据源总线接收到数据源后对应KAFKA集群1中的Server生成对应数据，并将对应数据发送至知识提取模块内；S3、知识提取模块将对应数据内的实体/关系数据提取并发送至知识总线，其中若实体/关系数据提取失败则将失败日志通过HBase记录至外部存储内；S4、知识消费模块将实体/关系数据发送至对应的消费者，其中消费者包括HBase消费者、GDB消费者和ES消费者；S5、对应消费者将实体/关系数据处理成应用相关数据发送至知识存储模块进行存储，随后发送至应用程序部分，具体情况如下：A3、GDB消费者将应用相关数据发送至图数据库存储，并通过应用程序部分K层展开；B3、HBase消费者将应用相关数据发送至HBase存储，并通过REST API得出最短路径，通过应用程序部分显示最短路径；C3、ES消费者将应用相关数据发送至ES，并通过应用程序部分显示全路径。