[发明专利]一种海量网络发票数据集群播报方法

说明书

技术领域

本发明涉及税务发票信息传输技术，具体的说是一种可由税局（作为广播方）向多个服务商（作为接收方）进行海量网络发票数据集群播报方法。

背景技术

随着国家金税三期网络发票项目的推广，全国各省级税务部门每天需要将纳税人的基础数据、业务数据、代码表数据等海量的结构化（或非结构化）数据，向不同的服务商进行广播推送。这些以TB为单位的海量发票数据，在进行数据广播的时候，如果仍按照传统的广播方式，将会对现有的网络带宽、网络结构形成巨大冲击，并且不符合安全传输要求，主要体现在：

一、传统的数据广播方法是仅基于消息的数据广播方法：

作为传统广播内容的消息，多是简单字节内容，在网络广播的时候基本不占用网络带宽。

而以TB为单位计的海量数据，在进行广播时，传统方式显然不能满足要求。

二、传统的数据广播方法，不区别对待广播内容：

传统的数据广播方法，只有消息群播一种手段。

而网络发票数据广播内容中，只有代码表类数据适合群播，而其他基础数据、业务数据只能定向广播，严禁向非相关节点广播。

综合分析以上问题，在进行海量网络发票数据广播时，需要解决以下问题：

A、海量数据高并发I/O请求问题，以解决海量网络发票数据的传输吞吐和计算吞吐。

B、海量数据的计算问题，以解决对海量网络发票数据的分类计算（如定向传输方向的指定、形成批量传输报文等）。

C、海量数据传输模式问题，以解决原有的一次播报方式带来的资源浪费及效率低下问题。

D、海量数据传输带宽占用问题，以解决海量网络发票数据的传输对业务系统造成的带宽冲击。

基于该背景下，现提出的一种利用实用集群计算体系（含网络存储系统和NOSQL数据库）提高海量网络发票数据广播传输效率和系统可用性的办法。

发明内容

本发明的技术任务是解决现有技术的不足，提供一种高效、安全的海量网络发票数据集群播报方法。

本发明的技术方案是按以下方式实现的，该一种海量网络发票数据集群播报方法，一、搭建网络发票数据广播工作集群，该集群包括以下节点：

广播数据存储节点：用于对被广播数据进行高并发读写、海量缓存处理；

广播机节点：定向或群播网络发票数据消息；

广播前置机节点：传输需要广播的批量网络发票数据信息；

广播业务机节点：对被广播数据按照处理策略进行分类计算处理；

接收机节点：接收来自广播机节点的数据播报消息；

接收前置机节点：接收来自广播前置机节点的批量网络发票数据信息；

接收数据存储节点：对接收到的海量网络发票数据进行高并发读写、非结构化存储处理；

二、广播数据存储节点对需要广播的网络发票数据提供高速并发读写服务，将待广播海量数据写入缓冲区等待处理；

三、广播业务机节点根据调度任务，按照数据处理策略对待广播的海量网络发票数据进行批量分类处理，形成待广播数据报文；

四、广播机节点定时检查有无待广播数据报文，如果没有，那么继续等待下一轮检查；如果有，根据待广播报文类型进行相应的业务处理；

五、接收机节点接收到广播机节点发送的广播数据报文以后，通知本节点所归属的接收前置机节点进行报文批量数据进行传输请求；

六、接收前置机节点向广播前置机节点发送报文传输请求，由广播前置机节点根据集群负载均衡情况分配处理机，与接收前置机节点之间建立数据传输通道，将包括海量网络发票数据的报文按照流方式进行数据传输；

七、接收前置机节点接收到报文后，调用接收数据存储节点的高速I/O接口，将数据进行存储；

八、报文数据传输完成后，广播机业务节点根据调度策略对被广播数据报文进行清算。

广播数据存储节点设置有1个、广播机节点设置有1个、广播前置机节点设置有至少2个、广播业务机节点设置有至少2个、接收机节点设置有1个、接收前置机节点设置有至少1个、接收数据存储节点设置有1个。

所述广播数据存储节点采用NOSQL数据库进行数据存储。

所述步骤三中形成的待广播数据报文分为两类：群播数据报文和定向数据报文，其中群播数据报文向所有接收机播报，并进行数据传输；定向数据报文向指定接收机播报，并进行单一数据传输。