[发明专利]提高对采集数据的处理效率的方法、装置以及存储介质

说明书

本申请公开了一种提高对采集数据的处理效率的方法、装置以及存储介质。其中，该方法包括：获取采集到的与应用程序相关的采集数据；将采集数据存储至数据存储队列，其中数据存储队列为单线程单队列形式；对数据存储队列中的采集数据进行处理，确定需要进行分析的待分析数据；以及响应于数据发送的触发操作，将待分析数据发送至数据发送队列，其中数据发送队列为单线程单队列形式。

技术领域

本申请涉及数据处理技术领域，特别是涉及一种提高对采集数据的处理效率的方法、装置以及存储介质。

背景技术

android多进程：android中由于单个进程有资源和内存限制，当整个app在单个进程使用的时候容易导致app资源和内存不够，当创建多个进程的时候能够保障各个进程合理分配资源和内存，避免资源和内存集中在单个进程。android多线程：google的android操作系统基于linux系统进行开发，保留了linux系统上的多线程操作；在上层用户接口使用java开发，也有同java类似的多线程方案；android还有自身的Handler机制。android大数据SDK数据操作：由于大数据SDK需要实时、高效、准确的发送，对SDK在多进程、多线程下数据操作要求比较高。现有技术中，android多进程方案大多采用基于linux系统上进程通信的方式有socket、namedpipe命名管道、signal信号、share memory共享内存、文件共享等；基于android平台又提供了Binder机制等；还有第三方开源平台的Andromeda等解决方案。android多线程方案采用基于java的多线程Thread方案、基于android提供的Handler方案、基于底层的Pthreads方案。参考图2所示，android大数据SDK数据操作一般通过单线程中实现一个循环，来实现数据的进出，来实现数据的存储和发送。

然而，基于linux的方案使用难度大，使用繁琐，一般开发人员不易操作；基于第三方开源平台的Andromeda框架虽然使用方便易上手，但是代码量比较大，不适合普通SDK使用。基于android平台的Binder机制使用方便，但是操作难度大，易用性不太方便。基于java平台的多线程方案灵活性高，但是易出现死锁等增加排查难度。单线程循环效率低下，当数据量特别大的时候易阻塞；在数据实时性、准确性上有一定的缺陷；在跨进程操作时数据同步、标记位同步易出错。综上所述，现有技术中对采集到的数据进行处理的效率低下。

针对上述的现有技术中存在的对采集数据的存储和发送效率低下的技术问题，目前尚未提出有效的解决方案。

发明内容

本公开的实施例提供了一种提高对采集数据的处理效率的方法、装置以及存储介质，以至少解决现有技术中存在的提高对采集数据的处理效率的方法、装置以及存储介质。

根据本公开实施例的一个方面，提供了一种提高对采集数据的存储和发送效率的方法，包括：获取采集到的与应用程序相关的采集数据；将采集数据存储至数据存储队列，其中数据存储队列为单线程单队列形式；对数据存储队列中的采集数据进行处理，确定需要进行分析的待分析数据；以及响应于数据发送的触发操作，将待分析数据发送至数据发送队列，其中数据发送队列为单线程单队列形式。

根据本公开实施例的另一个方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时由处理器执行以上任意一项所述的方法。

根据本公开实施例的另一个方面，还提供了一种提高对采集数据的存储和发送效率的装置，包括：数据获取模块，用于获取采集到的与应用程序相关的采集数据；数据存储模块，用于将采集数据存储至数据存储队列，其中数据存储队列为单线程单队列形式；数据处理模块，用于对数据存储队列中的采集数据进行处理，确定需要进行分析的待分析数据；以及数据发送模块，用于响应于数据发送的触发操作，将待分析数据发送至数据发送队列，其中数据发送队列为单线程单队列形式。