[发明专利]基于统一协议的高并发环境下数据传输方法及装置

说明书

本发明涉及一种数据传输方法及装置，尤其是涉及一种基于统一协议的高并发环境下数据传输方法及装置。包括：数据分级步骤，在发送端根据业务类型对待发送数据包进行分级；数据发送步骤，按照划定的优选级，对数据包进行排序，将优先级较高的数据包先送入至待发送队列中；因此，本发明具有如下优点：1.非重要数据抑制，减轻接收服务器的压力；2.将数据包拆分整合，合并为一个个大小相对稳定的包，保证传输稳定；3.压力分给了发送端一部分，另两服务器更加稳定；4.数据入库速度明显加快。

技术领域

本发明涉及一种数据传输方法及装置，尤其是涉及一种基于统一协议的高并发环境下数据传输方法及装置。

背景技术

随着云计算、大数据时代的来临,每天都会产生海量的数据,应用需求存在着大量的并发数据访问。与此同时,以多核心处理器、大内存为趋势的硬件升级,为解决大规模并发数据处理问题提供了硬件基础。数据库事务处理是我们使用相当频繁的数据库操作,需要满足ACID(原子性、一致性、隔离性和持久性)原则。在传统数据库的事务处理中,是采用加锁的方式来进行控制的,通过共享锁和排他锁等锁机制,来保证事务的可串行化。在当前需要处理海量并发的环境下,传统的加锁机制无法满足对事务处理吞吐量的需求,同时也存在资源浪费,不能有效发挥现有硬件条件应该具有的数据处理能力。

在设备都应用统一协议连通的情况下，设备间存在大量数据交互，数据无时无刻不在被塞到另一个设备中，产生大量并发，同时产生大量数据，数据集中传输导致了很多问题，并不能很好的利用传输资源，同时数据中存在大量非重要数据，对于数据统计，数据分析产生不好的影响，如果能够区分数据的可用性同时抑制非重要数据的上传，就既能降低一部分高并发的压力，同时完成数据清洗，保证数据的可靠性。

现有技术中采用垂直扩展的方式，即提升单机处理能力来提高数据传输效率，简单来说就是增加单线程的处理能力，处理速度，让每条数据处理周期变短。垂直扩展的方式又有两种：

(1)增强单机硬件性能，例如：增加CPU核数如32核，升级更好的网卡如万兆，升级更好的硬盘如SSD，扩充硬盘容量如2T，扩充系统内存如128G；

(2)提升单机架构性能，例如：使用Cache来减少IO次数，使用异步来增加单服务吞吐量，使用无锁数据结构来减少响应时间；

在线程池容量有限的情况下,最大限度地提升线程池的并发能力,在资源消耗和线程池并发能力之间做了很好的平衡。但是，单机性能总是有极限的，无论使用多先进的物理机器，终究单机的极限太低，垂直扩展的方式一般只能应用在并发量相对能够控制的情况。

现有技术中采用水平扩展的方式，即采用负载均衡算法帮助合理优化服务器集群的任务分配问题,从而使服务器集群的性能达到最优化,使得企业能够有效地处理大用户量的高并发访问。

水平扩展只要增加服务器数量，就能线性扩充系统性能。水平扩展对系统架构设计是有要求的。这就是我们常听说的负载均衡，利用反向代理层，将请求信息分发到不通的服务器，降低单台机器的请求数。

高可用相关的技术以及架构，对于大型复杂的分布式系统，也是非常的重要。高可用架构中，非常重要的一个环节，就是如何将分布式系统中的各个服务打造成高可用的服务，足以应对分布式系统中各种各样的异常问题，比如服务间调用超时或者失败。这就涉及到了高可用分布式系统中的很多重要的技术，包括资源隔离，限流与过载保护，熔断，优雅降级，容错，超时控制，监控运维，等等。在采用水平扩展的情况下，当服务器连接发送大量数据，直接上传服务器，浪费了很大一部分资源。

发明内容

本发明主要是解决现有技术所存在的大量数据上行导致无用数据增加，影响数据统计，数据分析等技术问题，提出了一种基于统一协议的高并发环境下数据传输方法及装置。该方法及装置从根本上缓解服务器压力，充分利用资源。

本发明的上述技术问题主要是通过下述技术方案得以解决的：