[发明专利]一种数据处理方法及装置

说明书

本发明实施例提供的一种数据处理方法及装置，属于数据处理领域。该方法包括获取指标取值指令；获取所述指标取值指令所对应的标识信息；解析所述标识信息所对应的key集合；将所述key集合中当前时刻所对应的当前key存储在分布式缓存中以及历史时刻所对应的历史key集合存储在本地缓存中；从所述分布式缓存中获取所述当前key所对应的值以及从所述本地缓存中获取所述历史key集合中每个key所对应的值，并生成目标集合。以实现降低网络传输量的同时节省分布式缓存计算量的技术效果。

技术领域

本发明涉及数据处理领域，具体而言，涉及一种数据处理方法及装置。

背景技术

目前在分布式实时风控系统的指标计算中，策略的规则有很多种存在形式。指标就是其中的一种，指标通常伴随着大量复杂的运算，而且被数据的数据是持续加入到指标中计算，并且持续的时间不定，有些只持续短短几秒钟，而有些需要几个月，甚至更长。而目前为了防止黑产恶意行为，通常是将指标的持续时间划分为一片一片的时间片，但随之而来的是一片一片的时间片管理问题，分布式风控系统需要实时为业务系统鉴别请求风险，对效率和响应要求非常严格，从而业类通常把所有的时间片以及对应的数据存放在分布式缓存中，然而会造成指标服务器的网络传输量大，以及每次处理key需要极大的CPU消耗，且易导致网络拥塞，造成响应延时较高。因此，如何解决上述技术问题是目前亟需解决的技术难题。

发明内容

本发明提供的一种数据处理方法及装置，旨在改善上述问题。

本发明提供的一种数据处理方法，包括：获取指标取值指令；获取所述指标取值指令所对应的标识信息；解析所述标识信息所对应的key集合；将所述key集合中当前时刻所对应的当前key存储在分布式缓存中以及历史时刻所对应的历史key集合存储在本地缓存中；从所述分布式缓存中获取所述当前key所对应的值以及从所述本地缓存中获取所述历史key集合中每个key所对应的值，并生成目标集合。

可选地，所述的将所述key集合中当前时刻所对应的当前key存储在分布式缓存中以及历史时刻所对应的历史key集合存储在本地缓存中，包括：将所述key集合基于预设时间节点划分为多个分片，每个所述分片对应一个key；将当前时刻所对应的分片作为当前key，并存储在分布式缓存中；将除所述当前时刻所对应的当前key以外的其他所述分片生成历史key集合，并存储在本地一级缓存中。

可选地，所述的解析所述标识信息所对应的key集合，包括：根据所述标识信息所对应的当前指标配置信息获取所述key集合。

可选地，所述的从所述分布式缓存中获取所述当前key所对应的值以及从所述本地缓存中获取所述历史key集合中每个key所对应的值，并生成目标集合，包括：从所述分布式缓存中获取所述当前key；获取所述当前key所对应的值；从所述本地缓存中获取所述历史key集合中每个key；获取每个所述key所对应的值；基于所述当前key所对应的值与每个所述key所对应的值生成目标集合。

可选地，所述的从所述分布式缓存中获取所述当前key所对应的值以及从所述本地缓存中获取所述历史key集合中每个key所对应的值，并生成目标集合，之后还包括：基于所述目标集合生成所述指标取值指令所对应的指标计算结果。

本发明提供的一种数据处理装置，包括：第一获取单元，用于获取指标取值指令；第二获取单元，用于获取所述指标取值指令所对应的标识信息；第一数据处理单元，用于解析所述标识信息所对应的key集合；第二数据处理单元，用于将所述key集合中当前时刻所对应的当前key存储在分布式缓存中以及历史时刻所对应的历史key集合存储在本地缓存中；数据生成单元，用于从所述分布式缓存中获取所述当前key所对应的值以及从所述本地缓存中获取所述历史key集合中每个key所对应的值，并生成目标集合。