[发明专利]结合Spark平台的OWLHorst规则分布式并行推理算法

说明书

本发明提供一种结合Spark平台的OWLHorst规则分布式并行推理算法：根据Spark RDD的特点，结合TREAT算法的原理，首先对RDF本体数据进行构建模式三元组对应的alpha寄存器O_m_RDD或P_t_RDD并广播以及规则标记模型；对每条规则的模式前件进行连接并生成对应的连接模式三元组集合Rule_m_linkvar_RDD，从而加快推理过程中的匹配速度；在OWL Horst推理阶段，结合MapReduce实现TREAT算法中的alpha阶段，实现多条规则的分布式并行推理，然后对推理结果进行去重处理；通过alpha寄存器和规则标记模型能够过滤大量实例三元组，减少Map阶段键值对的输出，从而减少了无效的网络传输。

技术领域

本发明属于语义网技术领域，具体涉及一种结合Spark平台的OWLHorst规则分布式并行推理算法。

背景技术

语义万维网中的RDF和OWL标准已在各个领域有着广泛的应用，如一般知识(DBpedia)、医疗生命科学(LODD)、生物信息学(UniProt)、地理信息系统(Linkedgeodata)和语义搜索引擎(Watson)等。随着语义万维网的应用，产生了海量的语义信息。由于数据的复杂性和大规模性，如何通过语义信息并行推理高效地发现其中隐藏的信息是一个亟待解决的问题。由于语义网数据的急速增长，集中式环境的内存限制，已不适用于大规模数据的推理。

研究RDFS/OWL分布式并行推理是目前较新的一个领域。J.Urbani等人在RDFS/OWL规则集上采用WebPIE进行推理，能够满足大数据的并行推理；但该算法针对每一条规则启用一个或者多个MapReduce任务进行推理，由于Job的启动相对耗时，因此随着RDFS/OWL推理规则的增加，整体推理的效率受到了限制。顾荣等人提出了基于MapReduce的高效可扩展的语义推理引擎(YARM)，使推理在一次MapReduce任务内即可完成RDFS规则的推理；但该算法并不适用于复杂的OWL规则的推理。此外，当某一规则产生的新三元组重复时，YARM会存在过多的冗余计算且产生无用数据。汪璟玢等人提出结合Rete的RDF数据分布式并行推理算法，该算法结合RDF数据本体，构建模式三元组列表和规则标记模型；在RDFS/OWL推理阶段，结合MapReduce实现Rete算法中的alpha阶段和beta阶段，从而实现Rete算法的分布式推理；但该算法在连接beta网络推理时需要消耗较多的内存且进行多次迭代时效率低下，因而此算法受到集群内存和平台的限制。顾荣等人提出了一种基于Spark的高效并行推理引擎(Cichlid)，结合RDD的编程模型，优化了并行推理算法；但该算法未考虑规则能否被激活，均需要进行推理，因而造成了推理性能的浪费和传输的冗余。

由于语义网数据的急速增长，集中式环境的内存限制，已不适用于大规模数据的推理。目前存在分布式推理引擎虽然能够实现数据的并行推理，但是MapReduce任务启动个数多且耗时，对于复杂的OWL Horst规则无法执行推理，且存在过多的冗余计算且产生无用数据，以及消耗大量的内存多次迭代效率低下，导致无法在数据量增大的情况下能够高效且正确的实现RDFS/OWL规则的推理。

需要解决的技术问题：

1.解决如何结合RDF数据本体构建模式三元组RDD和规则标记模型，以及TREAT算法中alpha阶段的构建，从而能够高效并行的完成OWL Horst全部规则的推理。

2.结合提出的分布式方案提出了对应的并行推理方案，从而满足大规模数据的分布式并行推理的需求。

发明内容

为了解决上述问题，本发明提供一种结合Spark平台的OWLHorst规则分布式并行推理算法。本发明针对OWL Horst规则，提出了DPRS算法(Distributed parallelreasoning algorithm based on Spark)。该算法在数据量动态增加的情况下能够高效地构建alpha网络，并执行正确的推理。