[发明专利]信息处理系统和信息处理方法有效
申请号: | 201880009900.9 | 申请日: | 2018-02-02 |
公开(公告)号: | CN110291503B | 公开(公告)日: | 2023-04-25 |
发明(设计)人: | 仲川和志;在塚俊之;藤本和久;渡边聪;藤川义文 | 申请(专利权)人: | 株式会社日立制作所 |
主分类号: | G06F9/50 | 分类号: | G06F9/50;G06F12/00 |
代理公司: | 北京尚诚知识产权代理有限公司 11322 | 代理人: | 龙淳 |
地址: | 日本*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 信息处理 系统 方法 | ||
在分布式DB系统的作为工作节点的各服务器中搭载加速器,将由应用程序服务器的应用程序生成的查询分成要由加速器执行的第一任务和要由软件执行的第二任务,并对分布式DB系统的服务器分配,服务器使加速器执行第一任务,由软件执行第二任务。
技术领域
本发明涉及信息处理系统和信息处理方法,例如适合应用于对大数据进行分析的分析系统。
背景技术
近年来,大数据(big data)的使用正在逐渐扩大。在使用大数据时,需要其分析,但在大数据的分析领域中,可以认为今后Hadoop和Spark这样横向扩展型的分布式数据库的应用会成为主流。另外,为了迅速进行决策,对于使用大数据的交互且短TAT(TurnAround Time,周转时间)的自助式分析的需求也在提高。
另外,专利文献1中,公开了与分别具有存储XLM数据的数据库的多个分散的数据库服务器连接的协调服务器,基于各数据库服务器的处理能力分别生成查询的技术。
现有技术文献
专利文献
专利文献1:日本特开2009-110052号公报
发明内容
发明要解决的课题
然而,在分布式数据库系统中,为了确保用于对大量的数据进行高速处理的性能而需要大量的节点,结果系统规模增大,存在引入成本和维护成本增加的课题。
作为用于解决这样的课题的方法之一,可以考虑通过在分布式数据库系统的节点中搭载加速器、提高每个节点的性能,而减少节点数、抑制系统规模的方法。实际上,在研究层面上,发表了多种与OSS(Open-Source Software,开源软件)数据库引擎具有同样的功能的加速器,认为通过使用这样的加速器,可以提高节点的性能。
但是,该种类的加速器以某种系统修改为前提,不存在不修改现有一般的数据库引擎就能够使用的加速器。
然而,近年来,存在对OSS的Apache类的分布式数据库引擎(Spark和Impala等)的用户定义函数(UDF)进行扩展的动向(Apache Arrow),实现不修改数据库引擎的OSS分布式数据库加速器的环境正在逐渐完善。另一方面,使用用户定义函数的情况下,仍然存在需要修改生成SQL(Structured Query Language,结构性查询语言)查询的应用程序的课题。
本发明是考虑以上方面得出的,提出一种不进行应用程序的修改、可以防止为了大容量数据的高速处理的系统规模增大、抑制引入成本和维护成本的增大的信息处理技术。
用于解决课题的技术方案
为了解决该课题,在本发明的一个方式中,在分布式DB系统的作为工作节点的各服务器中搭载加速器,将由应用程序服务器的应用程序生成的查询分成要由加速器执行的第一任务和要由软件执行的第二任务,并对分布式DB系统的服务器分配,服务器使加速器执行第一任务,由软件执行第二任务。
发明效果
根据本发明的一个方式,能够提供用于大容量数据的高速处理的技术。
附图说明
图1是表示第一和第二实施方式的信息处理系统的硬件结构的框图。
图2是表示第一和第二实施方式的信息处理系统的逻辑结构的框图。
图3是表示加速器信息表的概略结构的概念图。
图4是用于说明SQL查询变换部进行的SQL查询的变换的图。
图5是表示查询变换处理的处理流程的流程图。
图6是表示由主节点服务器执行的处理的处理流程的流程图。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于株式会社日立制作所,未经株式会社日立制作所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201880009900.9/2.html,转载请声明来源钻瓜专利网。