[发明专利]一种智能热点数据预测及缓存方法有效
申请号: | 202011412624.6 | 申请日: | 2020-12-04 |
公开(公告)号: | CN112637273B | 公开(公告)日: | 2022-08-02 |
发明(设计)人: | 吴大鹏;李学芳;张普宁;王汝言 | 申请(专利权)人: | 重庆邮电大学 |
主分类号: | H04L67/12 | 分类号: | H04L67/12;H04L67/60;G06N3/08;G06N3/04 |
代理公司: | 北京同恒源知识产权代理有限公司 11275 | 代理人: | 赵荣之 |
地址: | 400065 *** | 国省代码: | 重庆;50 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 智能 热点 数据 预测 缓存 方法 | ||
1.一种智能热点数据预测及缓存方法,其特征在于:包括以下步骤:
S1:数据采集:各种类型的传感器感知智慧实体状态数据,并将采集的智慧实体状态数据周期性地上传至覆盖其感知范围的本地服务器;
S2:搜索记录整理:搜索系统以固定时间区间为单位记录本地用户提交的搜索请求,以及记录不同智慧实体被搜索的次数;
S3:热点智慧实体预测:本地服务器基于长短期记忆网络LSTM模型,根据用户历史搜索记录挖掘智慧实体数据中隐藏的时域相关性并建立相应的热点智慧实体预测模型;具体包括以下步骤:
S31:LSTM模型的输入是各个智慧实体在上一时刻t-1被搜索数的向量x(t-1)={x1(t-1),x2(t-1),...,xq(t-1),...,xQ(t-1)},其中,q表示被搜索的某一个智慧实体,xq(t-1)表示智慧实体q在上一时刻t-1被用户搜索的次数,Q表示t-1时刻被搜索智慧实体的总数量;
S32:LSTM网络包括遗忘门ft、输入门it、更新门Ct和输出门ot四种门结构,用以保持和更新细胞状态,其中t表示当前时刻,f、i、C和o表示四种不同的门结构对应向量;
S33:遗忘门层读取上一层的输出ht-1和当前时刻的输入xt,输出一个数值ft,并赋值给当前细胞的状态Ct-1;其中ft计算方式为:ft=σ(Wfxt+Ufht-1+bf),h表示隐藏的状态结构,xt表示当前时刻LSTM的输入向量,C表示细胞状态向量,ft表示遗忘门的激活向量,Wf、Uf和bf分别是遗忘门的输入权重、循环权重和偏置;
S34:输入门层包含两个部分;第一部分,通过sigmoid函数决定需要输入什么值;另一部分,通过tanh函数创建一个新的候选值向量,该向量会被加入到状态Ct中;新的候选值向量计算为:其中WC、UC和bC分别是更新门的输入权重、循环权重和偏置;
S35:更新门层更新旧细胞状态,将Ct-1更新为Ct,更新方式为:其中it表示+当前时刻t所对应的输入向量;
S36:输出门层基于细胞的状态输出数值;首先运行一个sigmoid层来确定细胞状态的哪个部分将输出;接着把细胞状态通过tanh进行处理并将它和sigmoid门的输出相乘;最后输出确定要输出的部分;其中W、U和b分别是各个门结构的输入权重、循环权重和偏置,σ(·)和tanh(·)为激活函数;
S37:采用按时间展开的反向误差传播算法(BPTT)进行训练,依据预定义的损失函数迭代修正网络中的权重参数,以最小化智慧实体的预测搜索次数与实际搜索次数的误差;输出是预测出的在时刻t各个智慧实体被搜索次数的向量其中表示在时刻t预测智慧实体q被用户搜索的次数;
S38:将x*(t)中的元素进行排序并得到其排序索引o={o1,o2,...,oq,...,oQ};
S39:将o={o1,o2,...,oq,...,oQ}作为Zipf(齐夫定律)模型的输入,计算出各个智慧实体在时刻t被搜索的概率:p=[p1,p2,...,pq,...,pQ],其中pq表示智慧实体q在时刻t被搜索概率;
S4:热点智慧实体缓存:本地服务器通过所设计的动态缓存策略实现对热点智慧实体状态数据的主动缓存;具体包括以下步骤:
S41:本地服务器根据p=[p1,p2,...,pq,...,pQ]创建缓存热点智慧实体的流行度列表,流行度表示智慧实体被搜索的概率;
S42:当数据到达本地服务器时,缓存空间未满就直接按照流行度列表依次缓存,如果缓存空间已满,本地服务器就对缓存空间中缓存的智慧实体数据与到达智慧实体数据进行名称匹配,如果能匹配到,则直接用到达的智慧实体数据替换缓存数据;
S43:如果未匹配到,则计算到达智慧实体流行度,如若到达智慧实体的流行度大于流行度表中最小的流行度时,就用到达智慧实体数据替换最小流行度所对应的缓存数据;若小于则不缓存此到达智慧实体数据;
S44:缓存系统在后台开启一个监控缓存数据过期的任务,定期检测过期缓存数据,一旦检测到有缓存过期,则通知本地服务器进行数据的更新;
S5:用户搜索:当用户发出搜索请求后,本地服务器快速搜索是否有搜索请求匹配的智慧实体状态内容,若有该内容,则表明用户搜索的是热点智慧实体,直接将结果返回,若无,则本地服务器将搜索请求下发至与智慧实体关联的传感器,传感器采集数据后通过本地服务器返回至用户。
2.根据权利要求1所述的智能热点数据预测及缓存方法,其特征在于:步骤S5具体包括以下步骤:
S51:热点智慧实体状态数据主动缓存在靠近用户的本地服务器,以满足用户搜索需求;
S52:当用户提交给定状态搜索智慧实体的命令时,搜索系统将搜索请求发出至本地服务器,本地服务器收到请求消息后,快速搜索是否有与搜索请求匹配的智慧实体状态数据,以判别所搜索的智慧实体类型;
S53:若本地服务器匹配到与搜索请求相关的智慧实体状态数据信息,则说明用户搜索的是热点智慧实体,直接将搜索结果返回给用户,以降低搜索时延和提高搜索精度;
S54:若用户搜索的智慧实体状态数据不在本地服务器,则判断用户搜索的实体为普通智慧实体,本地服务器将搜索请求下发至与智慧实体关联的传感器,传感器采集数据后通过本地服务器返回至用户。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于重庆邮电大学,未经重庆邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011412624.6/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置