[发明专利]RDD partition内部数据索引建立方法、点查方法及joinRDD点查方法

摘要

本发明公开一种RDD的partition内部数据索引建立方法、RDD点查方法及join RDD点查方法，对RDD Partition内部数据建立索引，使用HashMap来存放每条数据在Partition的位置信息，所有Partition的索引组合行程RDD的索引，在进行key的查找时，不需要遍历Partition中的所有数据，而是直接通过HashMap查找到key在Partition中的位置，然后利用Partition Iterator的slice接口直接从Partition的特定位置获取对应的value。解决了Spark原生lookup API性能不佳的问题，达到了提高查询效率的技术效果。另外可以通过对需要join的两个RDD创建索引，然后对索引执行查询的方式，来避免RDD的实际join，可有有效防止OOM的发生，并且提高查询的效率。