[发明专利]快递信息大数据处理方法

说明书

技术领域

本发明涉及物流信息技术领域，尤其是指一种快递信息大数据处理方法。

背景技术

随着全国电商及快递行业的快速发展，以及邮政对快递行业安全监管及时性需求的增强，现有的快递信息收集处理系统由于非实时性已无法满足需求；随着电商及快递行业信息数据量的暴增，现有的快递信息收集、处理、分析业务已经异常缓慢，无法满足大数据量的高效运算，经常造成企业快递数据的挤压导致无法及时收集，或者收集后无法及时处理的困境。

如图1所示，现有的快件信息收集一般采用两种方式，方式一是文件方式传输，即快件数据信息通过生成FPT（文件传输协议）文件的方式，固定在某个时间段集中传输到服务接收端，服务接收端将接收到FPT文件传输至接口应用程序，通过所述接口应用程序获取FPT文件中的快件数据，并集中输送至数据库；方式二是将快件数据信息通过报文格式即消息串报文方式传输，使快件数据信息通过实时消息串报文及时传送到服务器接收端，服务器接收端通过接口应用程序实时处理报文获取快件数据，然后输送至所述数据库。所述数据库中快件数据通常按照时间顺序存储后，再集中处理分析，完成一次运算统计结果。

随着数据量的暴增，以上两种数据收集处理方式在面对目前的实时处理分析需求及大数据量的数据处理时，都不能很好地发挥系统性能，实现系统功能。方式一显然无法很好满足实时的数据传输需求，方式二虽然满足了实时传输需求，单次实时处理入库性能在数据量小的情况下数据可以正常传输，但是数据量如果突破一定量级，就会有大量数据堆积在发送端无法及时发送，单次入库性能就会成为瓶颈；再者，由于每次报文数据请求都进行一次入库操作，然后返回数据接收成功的处理方式，此种同步处理方式最大的问题就是每次数据请求的响应时间都特别长，很大程度上浪费了网络资源，也增大了网络超时的错误率；由此导致大量数据要么无法实时传输，要么在实施传输时，大量数据拥堵，无法及时传输处理，系统处理的性能和效率也急速下降，甚至无法处理运行。另外，数据库存储的数据量也会成倍增加，面对如此巨量的数据，数据库层面的分析处理过程也无法及时运算出结果，甚至根本无法完成运算，因此现有的服务器资源和性能没有充分的发挥出功用。

发明内容

为此，本发明所要解决的技术问题在于克服现有技术中在应对快递大数据时处理运算效率低的问题从而提供一种提高运算处理效率的快递信息大数据处理方法。

为解决上述技术问题，本发明的一种快递信息大数据处理方法，包括如下步骤：步骤S1：数据推送端将快递数据信息通过报文格式传输至服务器接收端；步骤S2：所述服务器接收端通过接口应用程序接收并处理所述服务器接收端以报文格式传输的快递数据信息以获取快递数据，然后将获取的快递数据存储在数据缓冲中，同时所述服务器接收端将报文格式的快递数据信息传输成功状态返回给所述数据推送端；步骤S3：将所述数据缓冲中的快递数据处理后发送至数据库；步骤S4：所述数据库接收发送的快递数据并进行统计处理。

在本发明的一个实施例中，所述步骤S2中，所述接口应用程序包括nginx软件以及多个第一Tomcat软件，所述服务器接收端通过所述nginx软件接收所述数据推送端以报文格式传输的快递数据信息并分发至所述第一Tomcat软件内，通过所述第一Tomcat软件处理所述快递数据信息以获取快递数据。

在本发明的一个实施例中，所述第一Tomcat软件内设有用于处理所述快递数据信息的数据接收处理程序。

在本发明的一个实施例中，通过所述第一Tomcat软件获取快递数据后将所述快速数据传输至数据缓冲中。

在本发明的一个实施例中，所述步骤S3中，快递数据通过ApacheActiveMQ软件、Memcached软件或者Redis软件存储在所述数据缓冲中。

在本发明的一个实施例中，所述数据缓冲中的快递数据通过多个第二Tomcat软件对所述数据缓冲中的快递数据进行处理，将处理后的数据传输至所述数据库中。

在本发明的一个实施例中，所述第二Tomcat软件内设有用于处理所述快递数据信息的数据入库处理程序。

在本发明的一个实施例中，所述数据入库处理程序从所述数据缓冲中读取指定数量的快递数据，并执行一次数据入库请求。

在本发明的一个实施例中，所述步骤S4中所述数据库对接收后快递数据进行统计处理的方法为：首先将快递数据按照类别分别存储在所述数据库的不同区域上，然后对不同区域上的快递数据进行运算，最后对所有运算结果进行统计。