[发明专利]一种城铁列车的微机网络大数据存取方法

说明书

本发明涉及数据存储技术领域，尤其是一种城铁列车的微机网络大数据存取方法，包括以下步骤：采集列车总线数据并将其压入循环缓冲队列；在内存中开辟一段内存池，并将所有数据导入内存池中；启动一个子进程，使用内存池的数据对池内数据进行压缩处理；检测是否断电：若断电，子进程则直接退出；若未断电，则将数据存盘并给主进程发布通知，主进程接收到通知后，删除内存池统计字典中的对应元素，当检测到设备断电信号后，将剩余元素直接存盘处理。本发明充分利用CPU内存，最小化磁盘擦写放大因子，最大化磁盘使用寿命，使得磁盘使用寿命根据压缩比率进行成倍提升。

技术领域

本发明涉及数据存储技术领域，尤其涉及一种城铁列车的微机网络大数据存取方法。

背景技术

随着我国城铁列车技术的不断升级，用于列车寿命预测，故障诊断等功能的列车健康诊断系统(PHM系统)已经成为列车标配系统。PHM系统通常是由车载微机网络的各个子系统(车门、牵引、制动等20余种子系统)，车载PHM专家系统主机，车地通讯无线通道和地面PHM运维服务器组成。

其中车载PHM专家系统主机作为系统核心，实现高速数据采集、存储、模型计算和数据远传的功能。其中，由于列车中的子系统较多，通讯数据量大，实时性高，实时采集的数据规模一般都较大，又因为无论对模型计算还是数据远传的原始数据帧丢包回滚，大规模数据的存取都是车载PHM专家系统主机的运作核心。

目前该技术使用的普遍方法是：在PHM专家系统主机中使用工业级固态硬盘作为存取介质，使用以太网和MVB车辆总线，高速采集所有列车子系统的数据，采集后打入时间戳，然后经过短暂缓存(一般为1s)，将数据实时写入磁盘存储。

由于工业级固态硬盘通常较小，而数据采集的吞吐量通常较大，因此，磁盘会在较短时间内写满，然后滚动擦除旧数据写入新数据。但是由于写入数据的碎片较多，磁盘擦写的写入放大因子较大，磁盘寿命减少过快，影响列车的整体维护和检修成本。

因此，设计一种城铁列车的微机网络大数据存取方法成为了本领域技术人员亟待解决的技术问题。

发明内容

本发明所要解决的技术问题是克服现有技术中存在的不足，提供一种城铁列车的微机网络大数据存取方法，包括以下步骤：

S1：使用车载PHM专家系统主机在主进程内采集列车总线数据并将数据压入循环缓冲队列；

S2：主进程定期检测S1中的循环缓冲队列，当循环缓冲队列有数据，则在内存中开辟一段内存池，随后清空循环缓冲队列并将所有数据导入内存池中；

S3：在CPU的其他处理核内启动一个子进程，子进程完全复制主CPU的应用环境，并将S2中内存池的数据传入子进程接口；

S4：S3的子进程的启动后，使用S2中内存池的数据对池内数据进行压缩处理，压缩完毕后立刻释放内存池缓冲内存；

S5:检测是否断电：若断电，子进程则直接退出；若未断电，则将在内存中压缩好的数据内容存盘；

S6：数据内容存盘完成后，通过系统的消息队列给主进程发布通知，主进程接收到通知后，删除内存池统计字典中的对应元素，并当检测到设备断电信号后，将数据池字典中的剩余所有元素不经压缩直接存盘处理，当设备再次通电后，主程序会分出子线程检测是否存在未压缩的数据，将其压缩后并删除原数据。

根据上述技术方案，优选地，步骤S2中主进程每间隔500ms检测S1中的循环缓冲队列。

根据上述技术方案，优选地，步骤S2与步骤S3之间需间隔15分钟。

根据上述技术方案，优选地，步骤S6中检测到设备断电信号后，需延迟1.5s，再将数据池字典中的剩余所有元素不经压缩直接存盘处理。

根据上述技术方案，优选地，子进程为多个。