[发明专利]一种大数据存储与溯源系统

权利要求书

1.一种大数据存储与溯源系统，其特征在于：包括基础平台层、数据操作层、系统核心层以及系统接入层；

所述基础平台层包括文件系统与存储层，所述文件系统采用kernel bypass方式结合非阻塞式异步IO实现，所述存储层用于将数据切片、加密之后的切片文件存储至硬盘内；

所述数据操作层包括数据切片模块、数据加密模块与数据操作模块，所述数据切片模块用于在存储之前对数据进行切分，所述数据加密模块用于对切分后的数据即对同一文件的一个及一个以上的分片进行加密，加密数量与过程根据用户进行设定，所述数据操作模块用于用户对数据进行读取、修改、覆写等操作，同时这些操作记录会被记录；

所述系统核心层包括数据调度引擎与图引擎，所述数据调度引擎用于对切片之后的数据存储进行调度，存储到不同的分布式存储介质中，所述图引擎用于数据切片之后会求取其散列值，并把该数据切片的散列值，录入时间，加密方案录入数据库，在对数据进行操作过程中，数据发生变化会直接影响数据的散列值，当监控到散列值变化时，将变化后结果的散列记录到数据库，完成数据溯源；

所述系统接入层包括管理界面与数据接口，所述管理界面用于管理员查看数据上传、使用状况以及平台运营状况，所述数据接口为开放的API，用于上传文件；

所述数据操作层、系统核心层以及系统接入层之间设置有授信访问机制，所述授信访问机制即只有授信的用户能够访问本系统，不同权限的用户在本系统中可操作数据方式不同。

2.根据权利要求1所述的一种大数据存储与溯源系统，其特征在于：所述授信访问机制的权限分为数据提供者以及数据使用者，数据提供者可以在本系统中上传文件，将文件授权给第三方使用者，使用者通过数据操作层完成对数据操作，但是操作过程是对他人保密的，操作结果以及操作记录是对数据提供者公开的。

3.根据权利要求2所述的一种大数据存储与溯源系统，其特征在于：所述授信访问机制用于验证数据上传者的身份，在本系统中，会对操作者使用的IP，硬件设备信息，用户权限(读、写操作权限)进行监控，还用于验证数据使用者身份，除了平台允许的人员登陆之外，对某一个特定数据文件进行访问需要获取文件提供者的授权。

4.根据权利要求1所述的一种大数据存储与溯源系统，其特征在于：所述存储层采用分布式存储策略，总共有N台用于数据存储的服务器，在数据切片加密之后计算其散列值，根据不同的散列值存储到不同的服务器上，同时配备N台服务器作为数据备份服务器，定时完成数据备份操作，其中N至少为1。

5.根据权利要求1所述的一种大数据存储与溯源系统，其特征在于：所述存储层包括有若干个文件块，所述文件块大小为4kb，数据切片模块用于对原始数据进行切片，其中每个切片大小为3.9kb，即一个大小为S(单位kb)的文件，最后可以分为个数据切片。

6.根据权利要求1所述的一种大数据存储与溯源系统，其特征在于：所述数据加密模块采用的加密方式是SM4算法，加密后的文件会比原始数据切片大，其中每个文件仍不大于4kb的阈值，数据切片的尺寸可适应性调整。