[发明专利]一种处理延迟发送的日志数据的方法和系统

说明书

技术领域

本申请涉及移动数据处理技术领域，尤其涉及移动数据平台中处理延迟发送的日志数据的装置、系统和方法。

背景技术

随着移动互联网的迅猛发展，移动应用(App，应用程序)市场的竞争也日趋激烈，移动应用的开发者要发展就必须为用户提供优质的产品功能与服务，并能够针对市场变化和用户需求做出快速反应。为此，实时采集并分析用户的使用习惯，是把握最新用户需求和优化用户体验的关键一步。但由于移动应用的特殊性，与传统互联网不同，其用户的操作行为大多是在手机客户端上完成的，这也意味着用户行为日志必须传到服务器后，才能被开发者进行分析处理，实现应用的监测和优化等。

但由于移动应用的特殊性，用户的行为日志有时往往不能够实时传回到服务器，这有两方面原因：一方面是一些离线类应用(如离线游戏、电子读物)，其用户在使用应用的大多数时候是不需要用手机联网的，这就导致其在离线(脱网)时所产生的行为日志只有等用户下次使用该应用联网时才能发回服务器，这个时间延迟有可能是数天、数周、甚至数月，完全由应用自身决定；另一方面是，由于目前移动应用的上传过程都是会产生流量的，通过WIFI方式一般是不计流量费用的，但如果通过GPRS或其他移动通讯商的收费联网方式上传日志到服务器所产生的流量则是要计费的，所以导致应用开发者为了顾及用户感受，不得不将行为日志发回服务器的时机安排在不计流量费用时发送，这也导致了一部分日志数据延迟发回服务器，其延迟时间可能为数个小时或数天。另外，考虑到数据压缩，日志采集器往往也会缓存一部分日志后再发送，这个过程也会导致日志发送过程的延迟。

日志延迟发回服务器，如果时间较长，超过了日志数据计算频度的时间间隔，就会造成数据失真，从而不能按时全面地为应用开发者展现客户真实准确的结果。对于这个问题，现有的移动应用技术的处理策略大概分为两大类：(1)忽略接收到的延迟发送过来的日志数据；(2)认可延迟发送过来的日志数据，并再一次计算操作时反映到结果中，相当于一种数据修正。第一种策略，操作简单、计算量小，但所带来的问题就是没有全面地反映用户的实际使用情况的总量，如果应用的离线日志程度很高的话，则应用开发者在服务器上所看到结果就严重失真了。第二种策略，对结果进行了必要的修正，但计算的时间空间复杂度会增加很多，这是因为需要重新计算延迟发送日志数据所在实际发生时间所涉及的所有指标，时间复杂度将增加，而为了完成修正，有些修正计算还需要保存之前的中间结果(比如独立用户数列表)，也会造成空间复杂度将要增加；并且往往是时间离得越近则修正的作用越不明显(因为数据延迟时间长度的概率分布往往不是几个小时，而可能是几天左右)，从而导致在对数据进行趋势分析时，修正后的计算结果往往会在近期出现一些下滑的趋势，过一段时间修正完后，又会发现之前的下滑不存在了，这种不稳定性的下滑往往不能代表真实的趋势方向，而完全是由于数据延迟所造成，从而给应用开发者的数据分析带来干扰。

由于移动应用在用户手机端所产生的日志数据因诸如上述多种原因往往不能及时发回服务器，而当这种延迟的时间间隔超过了操作的时间间隔时，就会需要考虑在下次计算操作时对其之前所有计算结果是否需要进行数据修正。如果不在之后修正的话就会影响计算结果的全面性与真实准确性；而如果在收到延迟数据后进行数据修正，不单计算时间空间复杂度会增加很多，同时数据计算结果也将会具有一定的不稳定性(尤其是在趋势分析时所带来的失真下滑)。可见，现有的移动应用计算技术存在的移动应用日志数据延迟发送造成数据不全面准确，进而导致简单数据修正策略计算量过大且数据失真等缺陷。

发明内容

针对上述现有技术的缺陷，本申请要解决的技术问题是提供一种处理延迟发送的日志数据的装置、系统和方法，其针对移动应用日志延迟发送所带来的计算不够全面准确的问题，以及进行简单数据修正策略所带来的计算量过大与数据失真等问题，在该处理延迟发送的日志数据的装置、系统和方法中，采用了一种优化的“修正前”与“修正后”两套计算指标相结合的计算与分析策略。