[发明专利]一种面向海量数据的数据交换方法

说明书

技术领域

本发明涉及一种面向海量数据的数据交换方法，属于信息技术处理领域。

背景技术

海量数据是近些年随着信息技术尤其是Internet技术的发展而出现的，主要用来形容巨大的、空前浩瀚的数据，例如各种空间数据、报表统计数据、文字、声音、图像、超文本等各种环境和文化数据信息。现在，很多企业、公司都涉及到对海量数据的操作处理，如水利部门、气象部门等处理的数据量都非常大。总结起来海量数据主要包括两类数据，一类是每条数据本身不大但数据量非常巨大，比如移动通信中的短信业务数据；另一类是数据本身就非常大，比如气象部门的遥感影像数据，每幅图片一般在500-700M。本发明主要是针对第二类海量数据而提出的面向海量数据的交换方法。（本文以下提到的所有“海量数据”如果没有特别说明，都是特指第二类海量数据）

目前针对海量数据的交换方法主要有三种：一种是基于FTP的主动推送方式或下载，该方式的主要特点是数据交换的双方一般要建立FTP服务器，通过数据监测机制监测数据的变化进行主动推送或通知对方服务器下载。该方式最大的缺点是可扩展性差，当需要交换的客户端增加后，服务器端的发送任务就会翻倍的增长，比如说开始是1台服务器，1个客户端，每天发送的数据为200G，当增加1个客户端时，服务器需要发送的数据量为400G，当客户端增加到10个时，需要发送的数据为2000G，服务器的压力越来越大，另外FTP命令和数据一般采用明文传输，数据安全性低，而且对不同的客户鉴别能力差，很难做到不同的用户有不同的发送任务。第二种是IP组播技术以其多路复用的方式, 能够有效地减轻服务器和网络负载, 但是由于诸多方面的不足, 如实现方面的复杂性、拥塞控制、可靠性管理等, 难以在实际中应用。第三种是基于P2P（Peer-to-Peer）的数据传输方式，也可称之为BT下载技术，其基本思想是把一个文件分成了X 个部分，甲在服务器随机下载了第N 个部分，乙在服务器随机下载了第M 个部分，这样甲的BT（BitTorrent）就会根据情况到乙的电脑上去拿乙已经下载好的M 部分，乙的BT 就会根据情况去到甲的电脑上去拿甲已经下载好的N 部分，这样就不但减轻了服务器端得负荷，也加快了用户方(甲乙)的下载速度，效率也提高了。但该方式很难控制不同用户对数据的不同需求，当数据更新后也很难做到在第一时间内传送给用户或通知用户下载。

目前，为了解决信息及时发布问题，广泛采用的技术是订阅/发布 (publish/subscribe，简称pub/sub)技术，比如说google阅读器、百度订阅、GreatNews等都是采用的订阅/发布的方式，让用户能够在第一时间内收到自己订阅的信息。在发布/订阅技术中，信息的生产者和消费者之间通过一个中间件来进行交互。信息的生产者将信息发送给这个中间件；信息的消费者则向中间件定义一个“订阅条件”，表示对系统中的哪些信息感兴趣；而中间件则保证将所发布的信息及时、可靠地传送给所有对之感兴趣的信息消费者。由于它使得信息的生产者和消费者在空间、时间和控制流三个方面都被完全解耦合，所以订阅/发布具有提高网络带宽、调节服务器负载均衡、节省用户等待时间并能够在第一时间获得最新更新的数据等功能。但现有订阅/发布系统只能处理第一类海量数据，当数据是第二类海量数据时，google阅读器、百度订阅、GreatNews等现有的订阅/发布系统条件下无法把单个数据在几百兆甚至几个G的数据发给订阅者。

发明内容

本发明针对现有海量数据的交换方法的不足，提出了面向海量数据、基于订阅/发布技术和P2P技术相结合的交换方法，实现了提高传输速度、调节服务器负载均衡、使用户在第一时间获得最新更新的数据等问题。

本发明为实现上述发明目的采用如下技术方案：

    一种面向海量数据的数据交换系统，包括数据更新控制模块、实体数据库、元数据注册模块、元数据库、分发策略数据库、分发策略管理模块、订阅信息匹配模块、订阅管理客户端服务器；

    所述数据更新控制模块用于将更新数据存入实体数据库，对更新数据编码得到种子文件，以及将更新数据作为超级种子链接至Tracker服务器，同时发送数据更新通知至元数据注册模块；

    所述元数据注册模块用于把更新数据的元数据信息写入元数据库，同时在元数据库中建立数据索引，然后将更新数据的信息传递给分发策略管理模块；

所述分发策略管理模块用于根据更新数据的元数据信息查询分发策略数据库得到需要分发的用户信息，然后发送下载信息通知给订阅管理客户端服务器；