[发明专利]一种物流温控行业的多重索引缓存大数据超温判断方法

说明书

本发明公开了一种物流温控行业的多重索引缓存大数据超温判断算法，它涉及大数据架构技术领域。其步骤为：在数据库层面设置一个数据索引处理器，对数据库进行数据切割，并建立逻辑索引；通过一个可配置的缓存定时处理器将可变时间内的数据进行逻辑缓存，划分已经存在的数据缓存和新加入的数据缓存，新加入的数据在执行一次逻辑操作后，会从新加入数据项集合中移除，添加到已存在数据项集合中，并将数据传输到数据中台进行归纳整理，对生成的超温数据进行持久化操作。本发明让已有应用在简单部署充分利用服务器资源，有效减少数据操作，在物流温控行业的大数据查询应用中显著提升查询性能，提高监控系统的运行性能和可扩展性，应用前景广阔。

技术领域

本发明涉及的是大数据架构技术领域，具体涉及一种物流温控行业的多重索引缓存大数据超温判断方法。

背景技术

目前，90％多的跨国制药企业都在中国开展了业务并设立了生产工厂，中国正逐步成为世界第二大医药市场主体。随着医疗保障水平的提高，生物医药、疫苗等温度敏感药品对冷链物流的要求越来越严格，医药冷链物流的市场总需求也超过百亿元。尽管如此，中国仍然缺乏完善和高效的医药产品冷链配送系统，辽阔的地域、各种地形条件下的极端气候以及跨越各级城市和乡村的低效率运输系统，意味着中国医药行业的冷链管理面临着严峻的挑战。随着医药冷链和云计算、大数据等行业的发展，越来越多的温度数据监控中心被建立起来，他们需要更有效的方式来为大数据查询节省时间，但同时也需要兼顾成本。像国内外的药品运输企业，基本都在运输冷链药品和食品的车辆上安装了温湿度监控设备，需要实时数据查看是否超温。

在过去的十几年内，无论是高端科学计算，还是信息服务，集群系统已经成为主流计算平台。在集群之上产生了许多通用型分布式计算框架(比如Hadoop)和专用的科学计算分布式计算框架(比如BONIC)，大数据计算框架需要重新开发计算模式，比如Hadoop的MapReduce，或者重新使用MPI等底层技术开发专用集群分布式计算系统，现有的中小型企业应用无法直接利用这些分布式计算框架带来的便利，比如高可用性和可扩展性。

市面上主流的大数据监控方式有两种：一种是采用市面上现成的大数据架构，比如阿里云或hadoop等；还有一种是企业内部自主研发的架构。由于现有大数据架构的价格昂贵以及行业的特殊性，目前大部分为自主研发软件，并采用自己的系统架构。相对于市面上的大数据架构，中小型企业可能并不太适合使用这类重型的大数据架构，反而更倾向于自己设计架构，但是由于开发水平参差不齐，所以架构水平不高。很多企业采购的架构是直接存储型的架构，没有对数据进行切割，所有数据都存在一个逻辑结构上，如一个数据表上，大数据的特点就是大量、低价值密度，这么多的数据放一起，此时就算在数据库中增加索引键也于事无补，因为数据量已经超过了数据库所能承受的范围，所以查询效率极其低下，限制了系统判断数据超温的速度，没有办法满足实时监控的需求。

为了解决上述问题，设计一种新型的基于数据库分治法索引结构和定时动态缓存管理的统一管理和动态查找判断方法尤为必要。

发明内容

针对现有技术上存在的不足，本发明目的是在于提供一种物流温控行业的多重索引缓存大数据超温判断方法，方便使用，利用数据分治法划分数据块索引和多重缓存，大数据架构完整、可用，大大减少数据判断，运行性能高，可扩展性、适应性更强，便于快速部署上线，易于推广使用。

为了实现上述目的，本发明是通过如下的技术方案来实现：一种物流温控行业的多重索引缓存大数据超温判断方法，包括以下步骤：

(1)在数据库层面设置一个数据索引处理器，所述数据索引处理器利用分治法思想对数据库整个数据池进行数据切割，将大数据按照逻辑属性划分为多个子数据，并建立逻辑索引；

(2)通过一个可配置的缓存定时处理器，将可变时间内的数据进行逻辑缓存，可划分为双重缓存：一类是已经存在的数据缓存，一类是新加入的数据缓存，新加入的数据在执行一次逻辑操作后，会从新加入数据项集合中移除，添加到已存在数据项集合中，并将数据传输到数据中台；