[发明专利]线路查询方法、装置和存储介质

说明书

本发明公开了线路查询方法、装置和存储介质。本发明提供线路查询方法，包括：步骤1、接收到查询任务的查询指令时，将所述查询任务发送给策略节点启动任务分配模块；其中，所述查询任务包括按批次对数据库中的路线进行读取的指令；步骤2、所述任务分配模块根据所述查询指令进行并发任务分配，分配成子任务。该方法在策略节点启动任务分配模块，分配成的子任务并发处理，将查询任务的查询指令分配成子任务并发处理，客观上降低了子任务内需要按批次读取OD的数量，带来查询时间的总体减少，解决了OD查询时长上下波动较大问题。

技术领域

本发明涉及互联网运输领域，尤其涉及线路查询方法、装置和存储介质。

背景技术

OD(Or i gi n-Dest i nat ion)指交通出行上的起点网格跟终点网格之间的线路。全国的OD数量至少是千万级别甚至亿级别以上的。每条OD都有各种各样的指标，例如，最近7天这条OD的下单量，表示最近7天这条线路乘客打车的订单量；最近7天这条OD的配对单量，表示最近7天这条线路乘客的下单与司机接单能配对上的订单量等等。

由于OD数据量巨大，传统的MySQL数据库已经无法存储。同时，也为了对OD进行快速的读取操作，目前行业上对于OD的存储均是存储在HDFS(Hadoop Fi l e System，Hadoop文件系统)中，也可称为线路数据库HDFS。Hive、Hbase的底层都是HDFS，都需要HDFS的支持，没有HDFS，Hive与Hbase将无法运行。H ive本质上是计算引擎，包含元表，提供了一种映射关系，但本身不存储数据；Hbase本身是一个会存储数据的数据库，但本身存储的数据又会存储到底层的HDFS中。

然而，目前的对存储于Hbase中的OD存储方案的读取上存在以下缺点：

按批次读OD导致时长上下波动大：每个批次的OD数量不固定，有的批次的OD数量只有几十万，有的批次的OD数量上千万甚至上亿。从而导致按批次对OD进行读取操作时，时间长度从毫秒级别到分钟级别的跨度。

发明内容

本发明主要解决OD查询中的时长波动较大、容易超时和性能较底下的技术问题，提供线路查询方法、装置和存储介质。

为解决上述技术问题，本发明采用的一个技术方案是：提供线路查询方法，所述方法包括：

步骤1、接收到查询任务的查询指令时，将所述查询任务发送给策略节点启动任务分配模块；其中，所述查询任务包括按批次对数据库中的路线进行读取的指令；

步骤2、所述任务分配模块根据所述查询指令进行并发任务分配，分配成子任务。

其中，所述任务分配模块根据所述查询指令进行并发任务分配的步骤之后，所述方法还包括：

步骤3、计算所述子任务数量；

步骤41、将其中一个子任务分配给所述策略节点执行。

其中，所述将其中一个子任务分配给所述策略节点执行的步骤之后，所述方法还包括：

步骤42、在所述子任务数量大于1时，将其余子任务分配给容器化集群管理系统的作业调度器执行。

其中，所述方法包括：

步骤43、在所述子任务数量大于1时，所述策略节点等待所述作业调度器执行完毕的信息回调到所述策略节点进行汇总。

其中，所述任务分配模块根据所述查询指令进行并发任务分配的步骤包括：

任务切换模块读取Mysql，从Mysql中读取当前涉及的所有批次的路线的数量；

对当前涉及的所有批次按路线的数量进行排序；

使用预设算法对当前涉及的所有批次进行切分。