[发明专利]一种电子商务平台大数据处理方法和系统

摘要

本发明公开了一种电子商务平台大数据处理方法和系统，通过生成多个采集代理，将采集网络划分为不同的模块，每个采集代理负责不同模块中的采集节点，以及写缓存为底层的文件系统提供高性能的写缓存服务，将文件集合划分为多个类，将海量文件合并为大文件，最终将大文件写入到文件系统进行持久化存储。通过写缓存和写合并之后，规避了海量文件写对文件系统的不友好，从而优化写吞吐速率和内存占用率。

主权项

1.一种电子商务平台大数据处理方法，其特征在于，所述方法包括：数据中心发出采集请求，采集数据响应启动；数据中心通过轮询的方式与各采集节点通信，定时周期性地向各采集设备轮询是否就绪，若是，则进入下一步；若否，则返回上一级；生成多个采集代理，将采集网络划分为不同的模块，每个采集代理负责不同模块中的采集节点，采集代理在终端发送相应的采集操作命令给终端设备；将接收到的采集数据写到磁盘中，使用归档算法将小文件合并为大文件存储，采用二级索引的方式，将大文件索引放置在主节点，小文件的索引放置在存储节点；对同一类中的数据文件合并，同时生成索引文件，当大文件的大小达到一定阈值时，将大文件存储到数据库中，同一类的后续合并的大文件也写到数据库中；将数据库中的一个表作为一个文件，相应建立一个索引文件，对需要操作的页进行索引，查找到相应的文件，加载进入虚拟内存空间；当内存可以使用的物理内存空间不够时，由操作系统的虚拟内存管理器负责页数据交换，最后再同步到物理存储介质。