[发明专利]用户轨迹信息的处理方法、装置、计算机设备及存储介质有效
申请号: | 201910294033.4 | 申请日: | 2019-04-12 |
公开(公告)号: | CN110032671B | 公开(公告)日: | 2021-06-18 |
发明(设计)人: | 贾辰飞;王亦乐;刘勇 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F16/909 | 分类号: | G06F16/909;G06F16/901 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 孟金喆 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用户 轨迹 信息 处理 方法 装置 计算机 设备 存储 介质 | ||
本发明实施例公开了一种用户轨迹信息的处理方法、装置、计算机设备及存储介质,其中该方法包括:响应于用户的地图匹配请求,实时获取用户轨迹信息并进行缓存;将所述用户轨迹信息对应的索引信息存储在处于活跃态的缓存表中,其中设置至少三个缓存表来存储索引信息,所述至少三个缓存表间隔设定时间在活跃态、待删除态和删除态之间进行轮换;针对处于删除态的缓存表,删除该缓存表中所有非活跃用户的用户轨迹信息。本发明实施例通过至少三个缓存表的状态轮转进行内存中用户轨迹信息的动态清理,降低内存使用率,降低地图匹配集群的内存压力,同时避免频繁的加锁释放锁,降低CPU波动,提高地图匹配性能,满足实时匹配的需求。
技术领域
本发明实施例涉及数据处理技术,尤其涉及一种用户轨迹信息的处理方法、装置、计算机设备及存储介质。
背景技术
地图匹配是指将用户(可以是驾驶车辆或步行)在行进中的坐标序列匹配到路网中合适路段的过程。地图匹配的输入包括:用户位置点序列和基础路网。用户位置点通常是GPS(Global Positioning System,全球定位系统)定位点或者Wi-Fi(WIreless-Fidelity,无线保真)定位点,用户位置点包括:点的经纬度坐标、速度和角度等信息。基础路网数据表示整个路网的信息,主要包括道路的属性信息、道路结点的属性信息、道路的几何形状点信息等。地图匹配的工作就是将用户位置点序列和基础路网联系在一起。
浮动车收集到的GPS点信息数量庞大且精度不一,城市中错综复杂的路网使得电子地图也包含海量数据,因此要求地图匹配算法具有较高匹配精度、匹配效率和良好的鲁棒性,以面对大规模数据处理的挑战。与此同时,出行者对获取信息的实时性要求也越来越高,优化地图匹配算法仍然无法解决实际吞吐量存在的瓶颈,匹配的实时性仍需提高。
目前,地图匹配算法中的内存管理方案如下:
(1)基于多队列的内存管理方法
如图1所示,该方法分配多个状态一致的缓冲区队列,当清理内存的时候,锁定缓冲区进行清理。该方法的缺点是当缓冲区内数据不均匀时,容易引起线程饿死情况,无法充分利用CPU的多核资源。
(2)基于整段轨迹的内存管理方法
该方法默认输入的轨迹是用户的完整轨迹,当用户轨迹处理完毕的时候,整条轨迹被清理。该方法存在两个问题:1)时效性太差,用户的轨迹是以3s为间隔实时传输的,此方案不能实时匹配,不满足路况等实时交通流的需求;2)此方法会导致CPU间接性的等待,系统的吞吐量不高,无法充分利用计算资源。
综上,现有地图匹配的内存管理存在以下问题:
(1)内存占用极高,目前使用300台128G内存的集群,内存占用率99%,轨迹规模波动以后,极容易引起服务重启丢失轨迹数据。
(2)实时历史用户轨迹的淘汰,高峰期每秒实时匹配50万条轨迹,对淘汰算法性能要求极高。现有淘汰算法为了数据一致性而频繁的加锁,CPU波动比较明显,如图2所示;线上QPS(Query Per Second,每秒查询率)会有明显的下降,导致匹配延迟,并发能力下降,无法满足出行者对获取信息的实时性要求。
(3)缓冲区队列分配不合理,极易引起调度中的饿死情况,导致部分队列很空,部分队列很满,无法充分利用CPU的多核资源。
发明内容
本发明实施例提供一种用户轨迹信息的处理方法、装置、计算机设备及存储介质,以优化地图匹配的内存管理,降低内存使用率,降低CPU波动,合理利用CPU资源,提高地图匹配性能。
第一方面,本发明实施例提供了一种用户轨迹信息的处理方法,包括:
响应于用户的地图匹配请求,实时获取用户轨迹信息并进行缓存;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910294033.4/2.html,转载请声明来源钻瓜专利网。
- 信息记录介质、信息记录方法、信息记录设备、信息再现方法和信息再现设备
- 信息记录装置、信息记录方法、信息记录介质、信息复制装置和信息复制方法
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录设备、信息重放设备、信息记录方法、信息重放方法、以及信息记录介质
- 信息存储介质、信息记录方法、信息重放方法、信息记录设备、以及信息重放设备
- 信息存储介质、信息记录方法、信息回放方法、信息记录设备和信息回放设备
- 信息记录介质、信息记录方法、信息记录装置、信息再现方法和信息再现装置
- 信息终端,信息终端的信息呈现方法和信息呈现程序
- 信息创建、信息发送方法及信息创建、信息发送装置