[发明专利]一种基于Spark SQL的分布式全文检索系统及方法

说明书

本发明涉及一种基于Spark SQL的分布式全文检索系统及方法，包括SQL翻译层、数据源管理层、并行计算层、分布式存储层，在SQL翻译层中提出了基于SQL的全文检索文法以及全文检索SQL语句在SQL翻译层各模块间的翻译过程；在数据源管理模块设计了全文检索过程的并行化方法；检索优化模块中，设计了两种索引存储模型和相应的查询时原表数据还原策略，其中基于索引指定列存储模型设计了一种用于在查询时还原原表数据、复杂度为O(n)的分区对齐连接算法。在两种存储模型下，索引构建时间缩短为传统数据库的0.6％/0.5％，查询时间缩短为传统数据库的1％/10％，索引存储量减少为传统数据库的55.0％。增强了Spark SQL数据分析功能，能够满足传统业务迁移和现有业务对海量数据进行全文检索的需求。

技术领域

本发明涉及海量数据下的数据分析和信息检索技术，更具体地涉及一种基于Spark SQL的分布式全文检索系统及方法。属于软件技术领域。

背景技术

随着云计算、物联网等技术发展以及博客、社交网络，基于位置服务LBS为代表的应用模式的出现(参见文献：孟小峰,慈祥.大数据管理:概念、技术与挑战[J].计算机研究与发展,2013,(01):146-169.)，数据的种类和规模正以前所未有的速度增长，大数据中蕴含的宝贵价值成为人们存储和处理大数据的驱动力(参见文献：程学旗,靳小龙,王元卓,郭嘉丰,张铁赢,李国杰.大数据系统和分析技术综述[J].软件学报,2014,(09):1889-1908.)，例如，在社交网络方面，Facebook、微博、微信等以人为核心的社交网络产生了大量的文本、图片等数据，对这些数据形成的社交网络进行分析，发现人与人之间隐含的关系、存在的社区；在搜索引擎方面，Google等大型互联网公司通过对广告相关数据的处理用来改善广告的投放效果以提高点击量；在医疗方面，通过对患者病历数据和生活方式的分析，协助医生进行疾病诊断和医治。数百TB甚至数十至数百PB规模的行业或企业大数据以及数据的复杂性已远远超出了现有传统的计算技术和信息系统的处理能力，因此，寻求有效的大数据处理和分析技术已经成为现实世界的迫切需求。