[发明专利]数据写入方法、装置、计算设备及计算机存储介质

说明书

本发明公开了一种数据写入方法、装置、计算设备及计算机存储介质，所述数据写入方法用于将分布式存储系统的数据写入至分布式集群中，该方法包括：当首次访问所述分布式集群时，获取所述分布式集群的路由信息；接收将分布式存储系统中的数据写入到所述分布式集群中的数据写入请求，查询所述路由信息得到待写入的数据的节点信息和分片信息；将所述数据写入请求发送给所述节点信息指向的节点，以供所述节点将待写入的数据存储到所述分片信息指向的分片中。本发明方案，在向分布式集群中写入数据时，根据分布式集群的路由信息，将数据写入请求发送至对应的节点，以均衡各个节点的数据处理压力，提高写入效率。

技术领域

本发明涉及计算机技术领域，具体涉及一种数据写入方法、装置、计算设备及计算机存储介质。

背景技术

ElasticSearch(简称ES)是一种基于Lucene的搜索服务器，它提供了一个实时分布式的全文搜索和分析引擎，是当前流行的企业级搜索引擎。ES可以近乎实时的存储、检索数据；以及，ES本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。由于ES的上述优势，与此同时，由于越来越多的业务数据都要求实时或者近实时的进行交互式分析，将Hadoop、Spark等分布式存储系统中的数据导入到ES分布式集群，并通过使用ES分布式集群来进行分析或搜索的需求越来越大。

现有技术中，在从Hadoop、Spark等分布式存储系统访问ES分布式集群，并将数据写入ES分布式集群中时，通常会利用官方提供的ES-Hadoop插件对海量数据进行分析然后写入至ES中，换言之，该ES-Hadoop插件是ES和Hadoop等分布式存储系统的大数据生态圈之间的数据桥梁。

但是，发明人发现：在利用该ES-Hadoop插件将数据写入ES分布式集群中的过程中，ES-Hadoop插件在首次访问时会确定ES分布式集群中的一个目标节点A，后续每次均先访问这个目标节点A，然后由该目标节点A根据路由信息确定真实的目标节点B，目标节点A将数据写入请求透传给真实的目标节点B进行处理。在这种处理方式中，目标节点A的调度任务非常繁忙，使得目标节点A的CPU占用率极高，易造成数据写入任务的阻塞，极大的影响数据写入效率。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据写入方法、装置、计算设备及计算机存储介质。

根据本发明的一个方面，提供了一种数据写入方法，用于将分布式存储系统的数据写入至分布式集群中，所述方法包括：

当首次访问所述分布式集群时，获取所述分布式集群的路由信息；

接收将分布式存储系统中的数据写入到所述分布式集群中的数据写入请求，查询所述路由信息得到待写入的数据的节点信息和分片信息；

将所述数据写入请求发送给所述节点信息指向的节点，以供所述节点将待写入的数据存储到所述分片信息指向的分片中。

根据本发明的另一方面，提供了一种数据写入装置，用于将分布式存储系统的数据写入至分布式集群中，所述装置包括：

获取模块，适于当首次访问所述分布式集群时，获取所述分布式集群的路由信息；

查询模块，适于接收将分布式存储系统中的数据写入到所述分布式集群中的数据写入请求，查询所述路由信息得到待写入的数据的节点信息和分片信息；

发送模块，适于将所述数据写入请求发送给所述节点信息指向的节点，以供所述节点将待写入的数据存储到所述分片信息指向的分片中。

根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述数据写入方法对应的操作。