[发明专利]一种网络行为特征的快速计算方法和系统

说明书

本发明涉及一种网络行为特征的快速计算方法，该方法包括：持续获取用户网络行为的特征信息并存储在消息队列的两个不同的主题，将主题一中的距当前时刻最近的N个最低层级的时间周期内的特征信息存储在缓存中，将主题二中的特征信息按最低层级时间周期定时拉取并按不同维度聚合计算，将计算后的最低层级时间周期的特征指标按照时间层级关系逐级合并，得到各个层级的各个维度的特征指标，并存入数据库。接收查询请求后，将缓存中和数据库中的特征信息按时间关系进行合并，得到所要查询的特征指标。采用此方法不仅可以灵活、快速、准确地统计各种维度的指标，而且几乎可以满足在线实时计算的要求。

技术领域

本发明涉及网络数据处理技术领域，特别是涉及一种网络行为特征的快速计算方法和系统。

背景技术

风险控制系统中，为了评估风险，往往需要对用户行为特征进行统计，计算用户行为的特征指标并以此来评估风险。在进行用户行为特征统计时，通常需要计算用户网络行为某个维度在过去某个特定的时段出现的次数、关联关系、变化趋势等，比如过去5分钟某个IP(Internet Protocol，网络之间互连的协议)登录次数，过去3天某个设备ID(DeviceID，设备唯一标识)关联的用户账号数等，以此来作为网络异常行为分析的重要依据。

在先的对用户网络行为的特征信息的特征指标的计算方案大致包括下述两种：

第一种，把数据存入数据库，并在需要统计的字段上加上索引，每次计算时根据查询条件在数据库中获取用户行为特征信息，统计用户行为特征指标。

第二种，把数据按不同维度聚合后，存储在NoSQL(Not only Structured QueryLanguage，非关系型数据库)中，通过对关键值Key值的精巧设计，在每次计算时根据查询条件快速定位到对应的特征信息，并进行读取，然后统计用户行为的特征指标。

在发明人应用上述方案的过程中发现，第一种方案存在两个问题，一个是如果每个字段都要加索引，对写入性能影响较大，二是如果事件中的字段是由客户传入的，是有非常多的可能，无法在数据库建表时进行穷举，建表后新增字段代价也非常高，所以计算用户行为特征时灵活度差。即使字段是确定的，然后每次计算时根据查询条件在数据库中进行统计，在数据量比较大的情况下，性能会到秒级，无法满足实时性的要求。第二种方案也存在问题，当遇到欺诈、作弊等异常网络行为时，由于该网络行为特征的表现之一就是行为数据高度集中，数量比正常行为特征大很多，这会导致在读取数据时因为数据量过大而经常超时，如果限制数据的条数就会导致计算不准。

发明内容

针对上述现有技术的缺陷，本发明要解决的技术问题是提供一种对网络行为特征计算的方法，用以灵活、快速、准确地统计各种维度的指标，满足在线实时性计算的要求。

为了解决上述问题，本发明公开了一种网络行为特征的快速计算方法，所述方法包括：

持续获取用户网络行为的特征信息；

将所述的特征信息存储在消息队列中；

将所述消息队列中距离当前时刻最近的N个最低层级的时间周期内的特征信息存入缓存；

按最低层级的时间周期定期拉取所述消息队列中的特征信息，并根据所述特征信息计算最低层级的时间周期内的各个维度的特征指标；

按照时间层级关系对所述的各个维度的特征指标进行合并，并将合并后的各个时间层级的各个维度的特征指标存入数据库；

接收查询请求，所述查询请求包括时间窗口和至少一个维度的特征指标；

读取所述数据库中距当前时刻的N个最低层级的时间周期之前且在时间窗口内的各个时间层级的所述至少一个维度的特征指标；

读取缓存中距当前时刻N个最低层级的时间周期之内的特征信息；