[发明专利]数据传输、存储方法和装置及系统

说明书

技术领域

本发明涉及数据处理技术领域，由于涉及一种数据传输、存储方法和装置及系统。

背景技术

随着计算世界的发展，各公司都积累了大量的数据。各种规模的组织开始有了处理大数据的需求，而目前关系型数据库在可缩放方面几乎已经达到极限。一个解决方案可以是使用键值（Key-Value）存储数据库，其数据按照键值对的形式进行组织、索引和存储。键值方式表示的数据可以分为格式数据部分和剩余数据部分，格式数据部分是大量数据组都包含的部分，剩余数据部分是每组数据的特有部分。例如，用键值方式表示的多组数据如下：

account=json,password=1234；

account=tom,password=1357；

account=marry,password=2468。

上述多组数据的格式数据部分是account和password，而每组数据的剩余数据部分分别是：

json,1234；

tom,1357；

marry,2468。

相关技术中，在数据传输时，是将上述的每组数据全部，包括格式数据部分，明文方式或加密处理后传输。

这种方式一方面会造成传输量加大，加重传输负担；另一方面，传输数据被解密后会对解密者明确获知传输内容，造成保密性不足。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种数据传输方法，该方法可以降低数据传输量且增强保密性。

本发明的另一个目的在于提出一种数据存储方法，该方法可以降低数据存储量且增强保密性。

本发明的另一个目的在于提出一种数据传输装置。

本发明的另一个目的在于提出一种数据存储装置。

本发明的另一个目的在于提出一种数据处理系统。

为达到上述目的，本发明第一方面实施例提出的数据传输方法，包括：根据预先设定的格式库中的格式文件，在要传输的数据中，去除格式数据部分，得到第一数据部分；向服务器传输数据，所述传输的数据包括所述第一数据部分。

本发明第一方面实施例提出的数据传输方法，通过在要传输的数据中去除格式数据部分，使得在传输时不再传输格式数据部分，可以降低传输数据量，并且，由于仅传输了部分内容，破解者不知道传输的数据的全部内容，提高了数据的保密性。

为达到上述目的，本发明第二方面实施例提出的数据存储方法，包括：接收客户端传输的数据，所述传输的数据包括第一数据部分，所述第一数据部分是所述客户端根据格式文件在要传输的数据中去除格式数据部分得到；存储所述第一数据部分。

本发明第二方面实施例提出的数据存储方法，通过存储整体数据的部分内容，不再需要每次都存储相同的格式数据部分，可以降低存储的数据量。为达到上述目的，本发明第三方面实施例提出的数据传输装置，包括：处理模块，用于根据预先设定的格式库中的格式文件，在要传输的数据中，去除格式数据部分，得到第一数据部分；传输模块，用于向服务器传输数据，所述传输的数据包括所述第一数据部分。

本发明第三方面实施例提出的数据传输装置，通过在要传输的数据中去除格式数据部分，使得在传输时不再传输格式数据部分，可以降低传输数据量，并且，由于仅传输了部分内容，破解者不知道传输的数据的全部内容，提高了数据的保密性。

为达到上述目的，本发明第四方面实施例提出的数据存储装置，包括：接收模块，用于接收客户端传输的数据，所述传输的数据包括第一数据部分，所述第一数据部分是所述客户端根据格式文件在要传输的数据中去除格式数据部分得到；存储模块，用于存储所述第一数据部分。

本发明第四方面实施例提出的数据存储装置，通过存储整体数据的部分内容，不再需要每次都存储相同的格式数据部分，可以降低存储的数据量。

为达到上述目的，本发明第五方面实施例提出的数据处理系统，包括：第三方面实施例提出的数据传输装置和第四方面实施例提出的数据存储装置。

本发明第五方面实施例提出的数据处理系统，在传输时通过在要传输的数据中去除格式数据部分，使得在传输时不再传输格式数据部分，可以降低传输数据量，并且，由于仅传输了部分内容，破解者不知道传输的数据的全部内容，提高了数据的保密性；在存储时通过存储整体数据的部分内容，不再需要每次都存储相同的格式数据部分，可以降低存储的数据量。