[发明专利]基于机器学习的高效并发索引数据结构在审
申请号: | 202010456178.2 | 申请日: | 2020-05-26 |
公开(公告)号: | CN111651455A | 公开(公告)日: | 2020-09-11 |
发明(设计)人: | 王肇国;唐楚哲;王友运;董致远;胡淦森;陈海波 | 申请(专利权)人: | 上海交通大学 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/23;G06F16/2455;G06N20/00 |
代理公司: | 上海汉声知识产权代理有限公司 31236 | 代理人: | 胡晶 |
地址: | 200240 *** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 机器 学习 高效 并发 索引 数据结构 | ||
1.一种基于机器学习的并发索引数据结构的索引方法,其特征在于,所述索引方法包括:
组节点定位步骤:将请求中的键作为根节点的机器学习模型的输入,计算得出该键所在的组节点范围,继续在该组节点范围内将请求的键与根节点中保存的组节点的键的范围比较,找到目标键值对所在的组节点;
数组数据查找步骤:在定位得到的组节点中,根据请求的键找到在组节点中负责对应数据段的机器学习模型,预测目标键值对在数组中的位置以及误差范围;在该误差范围内使用二分搜索查找目标键值对;若找到目标键值对则执行完成请求步骤,否则执行缓存数据查找步骤;
缓存数据查找步骤:查找过程中,首先在插入缓存中查找目标键值对:若找到目标键值对则立即执行完成请求步骤;若未找到则判断是否正在缓存:若正在缓存合并则检查临时缓存是否初始化,若已初始化则继续在临时缓存中查找目标键值对,若未初始化则返回从组节点定位步骤重新执行,读请求未找到目标键值对;若未正在缓存合并则未找到目标键值对,执行完成请求步骤;
完成请求步骤:根据是否找到目标键值对及请求类型,执行相应的请求处理步骤并返回结果至索引的调用者,请求处理完成,流程结束;
执行数组数据查找步骤、缓存数据查找步骤和请求处理步骤时均有并发访问控制。
2.根据权利要求1所述的基于机器学习的并发索引数据结构的索引方法,其特征在于,所述节点包括一个机器学习模型和其所存储的键值对及键范围,输入请求键,得到节点输出的目标键值对的预测位置和误差范围;
整个索引结构共两层,第一层仅有一个根节点,第二层有多个组节点,同一层的组节点指针存在组节点指针数组中,能够遍历查找该数组找到组节点。
3.根据权利要求1所述的基于机器学习的并发索引数据结构的索引方法,其特征在于,所述目标键值对存储于数组中,新插入的键值对存储于缓存中;
所述缓存包括两层缓存:插入缓存和临时缓存;
所述插入缓存用于缓存新插入的键值对;
所述临时缓存用于缓存合并操作中,插入缓存不可用时缓存新插入的键值对;
对每个键值对,该索引数据结构连续存储其键、值、元数据,作为键值对结构;
所述元数据包括:
指针标记位,标记该键值对结构的值是实际值或指向实际值的指针;
逻辑删除位,标记该键值对是否已被逻辑删除;
版本号和锁,用于读、写、或删除键值对时的并发控制。
4.根据权利要求1所述的基于机器学习的并发索引数据结构的索引方法,其特征在于,所述完成请求步骤中找到目标键值对后的请求处理步骤包括:
读请求处理步骤:返回找到的目标键值对。
写请求处理步骤:更新目标键值对,将目标键值对的值更新为请求的写入值;
删除请求处理步骤:删除目标键值对,将目标键值对标记为逻辑删除状态;
所述请求类型包括:读、写及删除。
5.根据权利要求1所述的基于机器学习的并发索引数据结构的索引方法,其特征在于,所述完成请求步骤中未找到目标键值对后的请求处理步骤包括:
读请求处理步骤:目标键值对不存在,返回空数据,表示操作失败。
写请求处理步骤:若当前节点正在进行缓存合并操作,插入缓存不可用,临时缓存已被初始化,则将请求键值对插入临时缓存,否则将请求键值对插入插入缓存。
删除请求处理步骤:不作额外处理。
6.根据权利要求1所述的基于机器学习的并发索引数据结构的索引方法,其特征在于,所述并发访问控制包括缓存数据使用细粒度乐观并发控制进行并发访问控制;数组数据使用数组项元数据中的互斥锁和版本号进行并发控制,写或删除请求和缓存合并时都需获得键值对元数据中的互斥锁并递增版本号;
读请求不需获得互斥锁,但若请求返回时互斥锁被其他请求使用或版本号与请求开始时的版本号不同,则需重试。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海交通大学,未经上海交通大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010456178.2/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种终端设备
- 下一篇:一种包裹集运拣货方法、集运拣货智能设备及系统