[发明专利]一种更新数据查询引擎配置列表的方法及装置

说明书

本发明实施例公开了一种更新数据查询引擎配置列表的方法及装置。该方法包括：如果监测到数据查询引擎的当前节点的服务进程启动时，则启动后台监控线程，监测所述数据查询引擎的配置文件目录的更新操作；如果监测到所述配置文件目录的更新操作，则获取被更新的配置文件信息；根据所述被更新的配置文件信息，对所述当前节点的配置列表进行相应的更新操作。本发明实施例所采用的技术方案，无需重启数据查询引擎节点的服务进程，就可实现数据查询引擎配置列表的动态更新，达到数据查询引擎自动化运维的效果，从而减轻运维人员负担，提升数据查询引擎的用户体验。

技术领域

本发明实施例涉及交互式数据查询引擎技术，尤其涉及一种更新数据查询引擎配置列表的方法及装置。

背景技术

在现今的信息化时代，对信息数据的应用与研究已成为一种趋势，很多大型公司需要通过如SQL Server、MySQL等数据库管理系统对公司相关数据进行查询、分析、管理以及处理，从而更好的改善产品质量，随着大数据的出现，仅通过数据库管理系统进行查询操作效率很低，因此，查询引擎成为快速查询相关数据的必备工具。

Presto是一种纯内存的交互式SQL查询引擎，查询效率比Hive(基于Hadoop的一个数据仓库工具，提供简单的SQL查询功能)高出近10倍，能够跨越包括Hive、MySQL、Kafka在内的多种数据源进行查询，目前已成功应用在Facebook、Netflix、Dropbox、京东等知名互联网公司。

Presto可以查询多种不同的数据源，而对于数据源属性的配置是以配置文件的形式存储在名为catalog的配置文件目录中，不同的数据源需要分不同的配置文件进行配置，相同的数据源但是属性不同(如MySQL连接地址不同)同样需要分不同的配置文件进行配置，一个合法的配置文件可作为Presto的一个catalog被保存在catalog列表中。当Presto服务启动时，如图1所示，首先检测catalog配置文件目录下的配置文件，如果配置文件合法则将其加载到Presto服务中，当所有catalog配置文件都加载完成后，当前Presto节点会声明自身所拥有的合法的catalog列表。

在Presto的实际使用中，往往遇到对catalog配置进行增、删和改的更新需求，一般情况下，执行上述需求的现有技术方案往往是重新启动Presto服务，因为现有Presto服务对catalog配置的加载是一次性的，即只在Presto服务启动时进行加载，之后不会再对catalog进行任何处理。当Presto服务启动后，即使存在catalog配置文件的增删改操作，也只有通过重启Presto服务，重新对所有的catalog配置都会进行加载，才能实现catalog配置的更新。现有技术方案对于每次更新都需要重启Presto服务，一旦catalog配置错误就需要频繁重启Presto服务，导致Presto服务不能稳定运行，进而增大运维人员的负担，降低Presto服务的用户体检。

发明内容

本发明提供一种更新数据查询引擎配置列表的方法及装置，实现数据查询引擎中配置列表的动态更新，保证数据查询引擎服务的稳定运行，从而提高数据查询引擎服务的用户体检。

一方面，本发明实施例提供了一种更新数据查询引擎配置列表的方法，包括：

如果监测到数据查询引擎的当前节点的服务进程启动时，则启动后台监控线程，监测所述数据查询引擎的配置文件目录的更新操作；

如果监测到所述配置文件目录的更新操作，则获取被更新的配置文件信息；

根据所述被更新的配置文件信息，对所述当前节点的配置列表进行相应的更新操作。

另一方面，本发明实施例提供了一种更新数据查询引擎配置列表的装置，集成在数据查询引擎中，该装置包括：

更新操作监控模块，用于当监测到数据查询引擎的当前节点的服务进程启动时，启动后台监控线程，监测所述数据查询引擎的配置文件目录的更新操作；