[发明专利]面向复杂高并发计算的动力装备分布式存储与计算架构

说明书

本发明公开了面向复杂高并发计算的动力装备分布式存储与计算架构，包括数据主服务器、计算主服务器、数据子服务器、计算子服务器、客户端，数据主服务器定时监控数据子服务器状态，并定时处理写错误日志；计算主服务器用于定时生成计算任务，并定时监测计算子服务器的状态，实现计算任务的分发；客户端用于通过与数据主服务器通信，实现机组数据存储、访问服务和计算服务。本发明主要针对动力装备远程集中监控中心，利用职能划分，逻辑分离，资源重用等手段，实现海量数据的存储、持续备份和复杂计算任务的并发执行，保障后台服务的高可用性，在系统轻量化的基础上提高了系统可靠性，降低了分布式系统部署的难度，利于分布式系统的推广和维护。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种面向复杂高并发计算的动力装备分布式存储与计算架构。

背景技术

工业动力装备是产生、转化和传送动力的设备。动力装备运行需要建立设备远程监控中心对设备的原始数据和计算数据进行监控管理，随着技术方面的飞速发展，需要处理的数据量越来越大。计算技术和网络技术的发展促使以分布式计算、并行计算为基础的分布式计算系统所构建的数据中心和计算中心在工业、商业、科技和军事等领域有着非常广泛的应用。分布式存储具有对数据存储更安全，数据读取更快捷的优点。数据的分布式计算架构速度快，能及时发现问题。对于复杂高并发计算的动力装备，在企业应用中更应该要做好对设备原始数据和计算数据及信息的管理工作。

但工业动力装备的数据和计算的分布式管理存在着传统分布式架构方案无法解决的问题。第一，该分布式系统不能太复杂，要易于运维。传统的工业动力装备相关的模型计算，后面称之为核心业务，主要建立在单一架构之上。若直接采用面向海量用户的微服务解决方案对其进行改造，将使得系统复杂度、部署和维护成本都大幅提升。而事实上，这种复杂度提升带来的扩展灵活性，有时并不会给企业带来等值的收益，因为不同于网上商城等用户量(访问量)短期内即可能大量上升的情况，工业动力装备相关的企业的“访问量(设备数量)”往往较长时间内是稳定的或只需要较低程度的扩展。所以，对该分布式系统的要求是，既要能够解决单一架构无法解决的数据量和计算量庞大的问题，又要像单一架构那样易于运维。第二，不能对原有的核心业务进行较大幅度的改造。一般的分布式计算解决方案，都需要对原有的计算模块进行改造，比如采用HDFS进行数据的分布式存储，然后采用Map-reduce进行分布式计算和整合，这需要修改原有的核心业务模块，属于侵入式的改造，这是任何企业都不希望看到的。所以，对该分布式系统的要求是，能直接把现有的核心业务作为一个模块，或者进行较低程度的改造，实现“可插拔式”的作业流程。第三，企业对数据安全性的需求。由于保密性，工业动力装备的运行数据是无法直接上传到公网的云端的，需要充分利用该分布式系统有限的存储的资源，对数据进行备份，保障数据的本地安全。而传统的分布式解决方案中，一般采用多数据库实例的方式，对数据进行备份，这样会导致数据服务器的数量上升，又会带来运维复杂的问题。所以，该分布式解决方案需要对多数据库实例进行改造，以便在较少服务器的情况下，做好数据的备份工作。

因此，本领域的技术人员致力于开发一种面向复杂高并发计算的动力装备分布式存储与计算架构。主要用来解决设备远程监控中心对多台相近设备(200～1000台量级)的数据及信息存储，设备计算模型(性能计算、故障诊断及寿命预测等)的统一管理问题，需要在服务器数量较少的情况下实现一种分布式的解决方案。服务器数量少是为了便于运维，分布式架构是为了解决单一架构下存储和计算能力有限的问题，同时需要保障数据的备份。在硬件上，只采取少数台相同配置的服务器，以最大限度降低运维的复杂性，并进行master和worker职能的划分、逻辑分离，单点故障时能使用子服务器直接替代master。在软件上，为了充分发挥服务器性能，每台worker上均部署存储服务和计算服务，但逻辑上是相互分离的。存储方面，所有运行数据主一备一，即同一数据一定会存在于其中两台worker上；计算方面，所有的worker均作为计算资源。在系统轻量化的基础上提高了系统可靠性，降低了分布式系统部署的难度，利于分布式系统的推广和维护。

发明内容