[发明专利]数据采集方法、装置、电子设备及存储介质

说明书

本申请实施例涉及计算机技术领域，提供了一种数据采集方法、装置、电子设备及存储介质，方法包括：获取每一数据采集对象对应的模块数据；将每一数据采集对象对应的模块数据写入双缓冲区中的目标缓冲区，并将读写标志位修改为与目标缓冲区对应；基于用于写磁盘的线程和读写标志位，将双缓冲区中的数据写入磁盘中；其中，目标缓冲区为双缓冲区中的一个；读写标志位，为进行原子性封装后的变量，用于标识双缓冲区中当前可写的缓冲区。本申请实施例提供的数据采集方法、装置、电子设备及存储介质，通过双缓冲区缓存模块数据后再将数据写入磁盘，不是直接存储到硬盘中，能基于不同的缓存，改善冲突，数据采集的实时性更好，能提高系统的性能。

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据采集方法、装置、电子设备及存储介质。

背景技术

在自动驾驶等场景中，需要对各模块数据进行采集，将收集到的数据写入指定的文件或汽车黑匣子。

现有方法多利用谷歌(Google)开源的一个日志库glog，实现日志分级(INFO/WARNING/ERROR/FATAL)和日志归档。Google glog定义了一系列宏，可简化许多常见的日志记录任务。基于Google glog，可以按照严重性级别记录消息，从命令行控制日志记录行为，基于条件记录日志，在不满足预期条件时中止程序，引入详细日志记录级别等。

但基于Google glog的方法，glog参数配置比较复杂，只能在启动程序的时候通过输入参数来配置，不够灵活。并且，默认情况下glog仅支持同步日志，大规模写日志的性能会受I/O速度影响；多线程写日志时glog缺省使用的读写锁和mutex锁也会消耗性能，而且对于多线程同步堵塞写I/O的模式，一旦出现I/O挂起的情况，所有worker线程都会堵住。

综上，现有数据采集方法存在性能差的不足。

发明内容

本申请提供一种数据采集方法、装置、电子设备及存储介质，以实现满足场景需求的数据采集。

本申请提供一种数据采集方法，包括：

获取每一数据采集对象对应的模块数据；

将所述每一数据采集对象对应的模块数据写入双缓冲区中的目标缓冲区，并将读写标志位修改为与所述目标缓冲区对应；

基于用于写磁盘的线程和所述读写标志位，将所述双缓冲区中的数据写入磁盘中；

其中，所述目标缓冲区为所述双缓冲区中的一个；所述读写标志位，为进行原子性封装后的变量，用于标识所述双缓冲区中当前可写的缓冲区。

根据本申请提供的一种数据采集方法，所述获取每一数据采集对象对应的模块数据的具体步骤包括：

若判断获知所述每一数据采集对象的采集标识表示可写，则接收所述每一数据采集对象对应的模块数据。

根据本申请提供的一种数据采集方法，所述基于用于写磁盘的线程和所述读写标志位，将所述双缓冲区中的数据写入磁盘中的具体步骤包括：

基于预设的时间间隔，根据所述读写标志位，确定所述双缓冲区中当前能读出数据的缓冲区；

基于所述线程，将所述当前能读出数据的缓冲区中的数据写入磁盘中。

根据本申请提供的一种数据采集方法，所述接收所述每一数据采集对象对应的模块数据的具体步骤包括：

基于预先定义的数据采集宏，接收所述每一数据采集对象对应的模块数据。

根据本申请提供的一种数据采集方法，所述接收所述每一数据采集对象对应的模块数据的具体步骤包括：

基于用于保存二进制数据流的文件接口，接收所述每一数据采集对象对应的模块数据。