[发明专利]基于Elasticsearch的业务数据处理方法、装置、设备及存储介质有效
申请号: | 202010358044.7 | 申请日: | 2020-04-29 |
公开(公告)号: | CN111460023B | 公开(公告)日: | 2023-06-09 |
发明(设计)人: | 刘孝林;李学志 | 申请(专利权)人: | 上海东普信息科技有限公司 |
主分类号: | G06F16/25 | 分类号: | G06F16/25;G06F16/27;G06F16/2453;G06Q10/083;G06F40/284;G06F16/28;G06F16/22 |
代理公司: | 北京市京大律师事务所 11321 | 代理人: | 于亭 |
地址: | 201700 上海市青浦区*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 elasticsearch 业务 数据处理 方法 装置 设备 存储 介质 | ||
1.一种基于Elasticsearch的业务数据处理方法,其特征在于,所述基于Elasticsearch的业务数据处理方法包括:
接收业务数据更新请求,并根据所述业务数据更新请求对预置关系型数据库中的业务数据进行更新,得到更新业务数据,其中,业务数据为物流业务数据;
通过预置的开源数据同步工具Canal,将所述更新业务数据写入预置的搜索引擎Elasticsearch集群中;
对所述更新业务数据依次进行冷热分离、索引创建和角色分离,得到待查询业务数据;
接收业务数据查询请求,并根据所述业务数据查询请求对所述搜索引擎Elasticsearch集群中的待查询业务数据进行查询,得到目标查询数据;
所述对所述更新业务数据依次进行冷热分离、索引创建和角色分离,得到待查询业务数据,包括:
根据预设时间节点对所述更新业务数据进行节点标记,得到热节点数据和冷节点数据,所述热节点数据对应预置的目标时间段,所述冷节点数据对应所述目标时间段之外的时段,所述目标时间段为根据预设的业务需求所确定的查询时间段;
对所述热节点数据和所述冷节点数据进行索引创建,得到已创建索引的节点数据;
获取所述搜索引擎Elasticsearch集群对应的角色配置信息,所述角色配置信息包括角色、所述角色对应的节点和所述节点的节点配置信息;
根据所述角色和所述节点配置信息,将所述已创建索引的节点数据发送至所述角色对应的节点,得到待查询业务数据。
2.根据权利要求1所述的基于Elasticsearch的业务数据处理方法,其特征在于,所述对所述热节点数据和所述冷节点数据进行索引创建,得到已创建索引的节点数据,包括:
判断所述更新业务数据是否在预设的业务数据生命周期内;
若所述更新业务数据不在预设的业务数据生命周期内,则将所述更新业务数据确定为历史数据;
在所述热节点数据对应的节点上创建索引集群,得到对应的第一节点数据,所述第一节点数据包括节点索引以及业务数据的生成时刻;
将所述历史数据发送至所述冷节点数据对应的节点,得到目标冷节点数据;
获取当前时刻,并根据所述生成时刻与所述当前时刻确定所述节点索引中的待迁移节点索引;
通过预置接口将所述待迁移节点索引迁移到所述目标冷节点数据对应的节点上,得到对应的第二节点数据;
将所述第一节点数据和所述第二节点数据确定为已创建索引的节点数据。
3.根据权利要求1所述的基于Elasticsearch的业务数据处理方法,其特征在于,所述对所述热节点数据和所述冷节点数据进行索引创建,得到已创建索引的节点数据,包括:
对所述热节点数据和所述冷节点数据进行索引创建,得到初始索引;
根据预置的主分片数对所述初始索引进行分片设置,得到分片后的初始索引;
对所述分片后的初始索引进行检索需求分析、聚合分析和分词需求分析,得到候选索引;
对所述候选索引进行属性设置和类型设置,得到目标索引;
将创建有所述目标索引的热节点数据和创建有所述目标索引的冷节点数据确定为已创建索引的节点数据。
4.根据权利要求1所述的基于Elasticsearch的业务数据处理方法,其特征在于,所述接收业务数据查询请求,并根据所述业务数据查询请求对所述搜索引擎Elasticsearch集群中的待查询业务数据进行查询,得到目标查询数据,包括:
接收业务数据查询请求,提取所述业务数据查询请求中的查询时间信息;
根据所述查询时间信息和所述角色配置信息,对所述热节点数据和所述冷节点数据对应的节点进行分析,得到对应的目标节点;
对所述目标节点中已创建索引的节点数据进行检索,得到与所述业务数据查询请求对应的目标查询数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海东普信息科技有限公司,未经上海东普信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010358044.7/1.html,转载请声明来源钻瓜专利网。