[发明专利]一种基于多租户缓存反馈机制的数据采集方法

说明书

本发明涉及一种基于多租户缓存反馈机制的数据采集方法。该方法用缓存替代数据库做数据交换的媒介，数据采集服务将采集到的外部实时数据经过内部处理后，以业务能识别的格式存入缓存中；可以用缓存中的dataIsNull值，即反馈值的有效或过期，通过调度工程来灵活的控制不同租户数据采集功能的开启及关闭，既保证了在多租户使用情况下系统的稳定，又能根据实际情况调整对资源的占用，同时，由于调度工程与采集工程的特殊关系，当系统的数据采集达到性能瓶颈时，还可以通过动态的增加采集工程的方式来提高数据采集的性能。

技术领域

本发明涉及一种基于多租户缓存反馈机制的数据采集方法。

背景技术

在软件开发中，有这样一种场景：系统中的部分数据来源于外部系统或外部数据源，且这部分数据多为实时性数据，比如用户当前状态、用户在线时长、用户实时数据统计等， 需要本系统通过接口以一定的频率不断的轮询外部系统的数据接口，以获取最新的实时数据与本系统数据进行关联处理后展示，且这种数据采集场景需支持多租户形式，即不同的用户组织需要采集的数据是相互隔离以及具有差异性的。在这种场景下，如何减少对外部系统接口的访问压力，同时降低本系统对采集数据的处理压力是本发明要解决的问题。

现有的数据采集方案主要有两种：

1、通过客户端轮询的方式进行采集

这种采集方式主要以客户端对数据展示页面的访问为发起点，如图1。

当用户需要对实时数据进行查看时，将打开系统中的相应功能页面，页面在加载时会预置一定频率的定时器，定时器会反复触发http请求到后端，在http请求中，会携带用户信息等用于区分不同租户的参数标识以及请求数据类型的参数标识，当请求到达后端业务工程时，后端业务工程服务会将收到的所有参数标识，送入对外部系统接口的请求入参中以请求外部接口，获得外部接口的返回出参后，在业务工程中进行处理并返回给前端客户端进行数据展示。

这种方案的优点主要是实现简单，且可以很好的区分不同租户的采集数据，但缺点也同样明显，主要包括以下几点。

业务工程与数据采集服务集中在一起：在这种方案中数据采集服务与系统中的其他业务服务集中在一个工程中，使得数据采集与其他业务服务会存在相互影响的问题，当采集频率较大数据处理压力增大时，很有可能会影响到系统中其他业务服务的正常运行。

对外部系统接口的并发压力较大：这种方案以用户打开数据查看页面为发起点，且场景中存在多租户的情况，假设每个租户都有N个用户打开了数据查看页面，那对后端业务工程的同时轮询量就等于租户数量*N，同样的，对外部接口的同时访问量也会达到一样的量级，这样，随着租户数量以及打开数据查看页面的用户数量的增加，本系统的后端业务服务工程以及外部系统接口最终会不堪重负甚至宕机。

2、独立采集工程

这种方案的主要思路是将负责数据采集的业务逻辑从后端业务工程中独立出来单独提供服务，如图2。

将数据采集服务单独独立一个工程，专门负责对外系统接口的数据轮询以实时采集数据，这个数据采集工程可以是单线程或多线程的，采用线程轮询的方式，将系统中所有的实时数据都采集回来，并在这个采集工程中进行数据处理后存入业务数据库中，数据采集工程将不断的重复这个过程，使得业务数据库中保存的数据为当前最新的实时数据。

客户端仍然以用户打开数据查看页面为发起点，通过页面定时器的方式不断的将携带参数的请求提交至后端服务，后端服务接收到请求参数后，根据参数，从数据库中查询用户需要的实时数据，并返回给前端页面进行展示。

这种方案的主要优点是将数据采集工程与业务工程分开，降低了业务工程的数据处理压力，同时使得数据采集与业务服务相互之间互不影响，也降低了对外部系统接口的访问压力，但是，这种方案也存在其不足的地方。