[发明专利]一种基于MapReduce编程架构的索引生成方法和装置有效
| 申请号： | 201110446325.9 | 申请日： | 2011-12-28 |
| 公开（公告）号： | CN102426609A | 公开（公告）日： | 2012-04-25 |
| 发明（设计）人： | 兰轶伦;汤伟宾;章正道 | 申请（专利权）人： | 厦门市美亚柏科信息股份有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京恒都律师事务所 11395 | 代理人： | 何自刚 |
| 地址： | 361008 福建省厦门*** | 国省代码： | 福建;35 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种基于MapReduce编程架构的索引生成方法和装置，其中方法包括步骤：获取数据，并将数据整理成统一的格式，以记录集合形式进行存储；对记录集合中的每条数据记录进行头部封装；向HBase集群批量插入经头部封装的数据记录；调用Hadoop集群中的MapReduce服务和HBase服务，连接Solr集群；进行Map操作，提交运行索引并行生成任务，形成倒排索引中间文件；进行Reduce操作，生成倒排索引文件；启动一个新的Map任务，对倒排索引文件进行分片操作，生成最终的索引。采用本发明的方法和装置能实现高效分布式海量数据的存储与索引的建立，并具有可扩展、高容错、高性能等优点。 | ||
| 搜索关键词： | 一种 基于 mapreduce 编程 架构 索引 生成 方法 装置 | ||
【主权项】：
一种基于MapReduce编程架构的索引生成方法，其特征在于，包括步骤：获取数据，并将所述数据整理成统一的格式，以记录集合形式进行存储；对所述记录集合中的每条数据记录进行头部封装；并行向HBase集群批量插入经头部封装的所述数据记录；调用Hadoop集群中的MapReduce服务和HBase服务，连接Solr集群，确认集群状态；对所述HBase集群中的数据记录进行Map操作，提交运行索引并行生成任务，形成倒排索引中间文件；对所述HBase集群中的数据记录进行Reduce操作，将多份经过Map操作的倒排索引中间文件汇总为统一的倒排索引文件；启动一个新的Map任务，对所述倒排索引文件进行分片操作，将所述倒排索引文件中每个倒排索引数据块对应到不同的Solr集群节点上，生成最终的索引。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于厦门市美亚柏科信息股份有限公司，未经厦门市美亚柏科信息股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201110446325.9/，转载请声明来源钻瓜专利网。
- 上一篇：一种听障人群的语音辨识方法
- 下一篇：数据操作管理装置和数据操作管理方法
