[发明专利]一种基于Spark和Ignite的分布式实时图构建和查询的方法及系统

说明书

本发明涉及一种基于Spark和Ignite的分布式实时图构建和查询的方法及系统，其中的方法包括：启动Spark实时图构建和图查询任务，从数据库加载待查询图的点和边的字段到Ignite的数据集中，对所述字段进行缓存，并为所述字段创建索引；将前端发起的请求中的请求参数使用加密算法生成对应的请求参数主题，并监听所述请求参数主题；将所述请求参数主题放入所述请求参数，发送给请求主题，并监听所述请求主题；获取数据进行计算，将计算结果发送给所述请求参数主题；将获取到的结果数据返回给前端。本发明借助Spark和Ignite的分布式图构建和存储功能，可以对亿级甚至百亿级的数据实时进行图构建和图查询，可以有效的缩短图查询的时间。

技术领域

本发明涉及数据查询领域，具体涉及一种基于Spark和Ignite的分布式实时图构建和查询的方法及系统。

背景技术

随着互联网用户量的快速增加，近年来数据量成指数型增长。在此背景下，也使很多大数据分析技术蓬勃发展，比如人工智能，深度学习和知识图谱等。传统的知识图谱所分析的数据量较小，可以使用单机就可以满足需求。但是在海量数据的情况下，单机的计算速度和存储空间很快就会突破限制。这时候，分布式存储和计算就会给知识图谱分析带来巨大的优势。

然而，在亿级，百亿级数据量的情况下，传统图数据库做三度图查询速度会很慢，长达几分钟，十几分钟，甚至有时候会查询报错。

发明内容

针对上述技术问题，本发明提供一种基于Spark和Ignite的分布式实时图构建和查询的方法及系统。

本发明解决上述技术问题的技术方案如下：一种基于Spark和Ignite的分布式实时图构建和查询的方法，包括：

启动Spark实时图构建和图查询任务，从数据库加载待查询图的点和边的字段到Ignite的数据集中，对所述字段进行缓存，并为所述字段创建索引；

将前端发起的请求中的请求参数使用加密算法生成对应的请求参数主题，并监听所述请求参数主题；

将所述请求参数主题放入所述请求参数，发送给请求主题，并监听所述请求主题；

获取数据进行计算，将计算结果发送给所述请求参数主题；

将获取到的结果数据返回给前端。

本发明的有益效果是：借助Spark和Ignite的分布式图构建和存储功能，可以对亿级甚至百亿级的数据实时进行图构建和图查询，可以有效的缩短图查询的时间。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述从数据库加载待查询图的点和边的字段到Ignite的数据集中，具体包括：

从数据库加载待查询图的点和边的字段到IgniteRDD和/或IgniteDataframe。

进一步，所述将前端发起的请求中的请求参数使用加密算法生成对应的请求参数主题，并监听所述请求参数主题，具体包括：

将前端发起的请求中的请求参数使用MD5生成一个请求参数主题，并监听所述请求参数主题。

进一步，所述将所述请求参数主题放入所述请求参数，发送给请求主题，并监听所述请求主题，具体包括：

将所述请求参数主题放入所述请求参数，发送给分布式消息队列中的请求主题，并监听所述请求主题。

进一步，所述获取数据进行计算，将计算结果发送给所述请求参数主题，具体包括：

从数据库获取数据进行计算或者使用缓存数据进行计算，将计算结果发送给所述请求参数主题。