[发明专利]用户断点管理方法、装置、设备及计算机程序产品在审
申请号: | 202110730473.7 | 申请日: | 2021-06-29 |
公开(公告)号: | CN113342614A | 公开(公告)日: | 2021-09-03 |
发明(设计)人: | 谭勇慧;区德智;吴泽勇;黄浩维;陈安柱;王大飞;文海荣;江旻 | 申请(专利权)人: | 深圳前海微众银行股份有限公司 |
主分类号: | G06F11/30 | 分类号: | G06F11/30;G06F11/34 |
代理公司: | 深圳市世纪恒程知识产权代理事务所 44287 | 代理人: | 胡庆 |
地址: | 518000 广东省深圳市前海深港合作区前*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用户 断点 管理 方法 装置 设备 计算机 程序 产品 | ||
本发明公开了一种用户断点管理方法、装置、设备及计算机程序产品,所述方法包括:通过第一spark streaming获取用户行为数据集合,根据用户行为数据集合确定每个用户的最近行为的最新发生时间以及当前汇总行为数据,使当前汇总行为数据经过断点时长后才能持续处于断点侦测队列中;利用第二spark streaming获取断点侦测队列中的过去汇总行为数据,若过去汇总行为数据中的最新发生时间与其对应的用户的最新发生时间相同,该用户产生断点且产生时间为最新发生时间。本发明通过利用spark streaming数据流实时计算技术来侦测用户行为数据,可以在高并发实时数据处理的场景中准确确定用户产生断点的时间。
技术领域
本发明涉及金融科技(Fintech)技术领域,尤其涉及用户断点管理方法、装置、设备及计算机程序产品。
背景技术
随着计算机技术的发展,越来越多的技术(大数据、分布式、区块链Blockchain、人工智能等)应用在金融领域,传统金融业正在逐步向金融科技(Fintech)转变,但由于金融行业的安全性、实时性要求,也对用户断点检测技术提出了更高的要求。
越来越多的业务服务通过互联网得以线上实现,便利了人们的生活。在业务系统为用户提供各种业务服务时,可能因为各种原因出现业务断点,因此,需要准确判断用户是否发生断点。
目前,在用户断点管理过程中,常见的断点侦测方式为:利用spark streaming时间窗口滑动,设置一个时间窗口长度,通过计算滑出窗口的用户来侦测这段时间内产生断点的用户。但该方法的缺陷之一为:滑出窗口的用户可能在时间窗口长度内的任意一个时间点出现断点,该方案只能确定用户在窗口时间段内出现了断点,不能精确到出现断点的时间点;该方法的缺陷还包括:spark streaming时间窗口滑动方案需要将窗口内的所有数据流读进内存,由于系统内存不能无限扩大,在高并发的场景下,时间窗口的长度受限。
发明内容
本发明的主要目的在于提出一种用户断点管理方法、装置、设备及计算机程序产品,旨在解决如何提高在高并发实时数据处理场景中,侦测用户发生断点的准确性的技术问题。
为实现上述目的,本发明提供一种用户断点管理方法,所述用户断点管理方法包括如下步骤:
通过第一spark streaming以第一预设频率获取预处理队列中的用户行为数据集合,根据所述用户行为数据集合确定每个用户的最近行为的最新发生时间和每个用户的当前汇总行为数据;
将所述每个用户的当前汇总行为数据放入断点侦测队列,将所述放入所述断点侦测队列中的所述每个用户的当前汇总行为数据转移至延时队列,所述延时队列从接收到所述每个用户的当前汇总行为数据时开始,经过断点时长后将所述每个用户的当前汇总行为数据转移至所述断点侦测队列;
通过第二spark streaming以第二预设频率获取所述断点侦测队列中,放入时间在距离当前时刻所述断点时长之前的过去汇总行为数据;
若所述过去汇总行为数据中的最新发生时间,与所述过去汇总行为数据对应的用户的所述最近行为的最新发生时间相同,则确定所述过去汇总行为数据对应的用户发生断点,将所述过去汇总行为数据中的最新发生时间作为所述用户发生断点的时间。
可选地,所述根据所述用户行为数据集合确定每个用户的最近行为的最新发生时间和每个用户的当前汇总行为数据的步骤包括:
将所述用户行为数据集合中每个用户的用户行为数据按照发生时间排序,确定所述每个用户的最近行为的最新发生时间;
根据所述每个用户的用户行为数据中的行为信息生成每个用户的总行为信息,根据所述每个用户的总行为信息与所述每个用户的最近行为的最新发生时间得到所述每个用户的当前汇总行为数据。
可选地,所述确定所述过去汇总行为数据对应的用户发生断点的步骤之后,还包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳前海微众银行股份有限公司,未经深圳前海微众银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110730473.7/2.html,转载请声明来源钻瓜专利网。