[发明专利]一种基于IDM的数据传输方法及系统

说明书

本发明提供一种基于IDM的数据传输方法及系统，所述方法应用于IDM驱动的数据传输系统，所述数据传输系统包括User、Kernel、NIC、SSD；所述User为用户层数据；所述Kernel为Linux内核；所述NIC为网卡，网卡含有DDR；所述SSD为固态存储器，固态存储器包含DDR和flash；所述方法包括：IDM传输元数据；IDM直接传输网卡数据；IDM传输用户态libaio数据。本发明采用IDM驱动技术减少数据传输过程中的拷贝次数，提高了数据传输效率。

技术领域

本发明涉及一种数据存储技术、数据传输技术领域，尤其涉及一种基于IDM的数据传输方法及系统。

背景技术

IDM(Intelligence Data Manager)，是一个数据传输中间件,其目的是尽可能减少数据传输过程中的拷贝次数,提供多输入多输出的数据平台，用于智能网卡驱动和智能存储卡驱动等数据接收模块与数据存储模块之间的解耦。

传统bio直接携带数据，该数据需要从用户态传输到内核态，而IDM构造的bio只携带元数据(ba信息)，如图2所示。

落盘方式上，传统bio数据从host ddr直接到flash，而IDM构造的bio数据从存储卡DDR到Falsh。存储卡DDR上的数据由网卡通过P2P的方式写入。传统落盘步骤如图6所示，具体如下：

1)数据从网卡传输到内核态，获取文件lba地址；

2)将lba地址保存到host ddr；

3)将用户空间host ddr映射到内核态；

4)将内核态数据从host ddr传输到flash。

由于普通写操作不会考虑用户态和内核态数据共享的问题的，所以普通写操作会多一次拷贝。

发明内容

本发明的目的解决了网卡数据到存储器在数据传输过程中拷贝次数多的问题，降低了数据拷贝次数。

本发明的目的在于提供一种基于IDM的数据传输方法及系统，以解决上述技术背景中提出的问题。

为实现上述目的，本发明采用以下技术方案：

本发明的目的在于提供一种基于IDM的数据传输方法，其中IDM驱动的数据传输系统包括User、Kernel、NIC、SSD；User为用户层数据；Kernel为Linux内核；所述NIC为网卡，网卡包含DDR；所述SSD为固态存储器，固态存储器包含DDR和flash；所述方法包括：IDM传输元数据，网卡支持P2P方式，IDM只传输元数据，数据在网卡DDR上；IDM直接传输网卡数据，数据在网卡DDR上；IDM传输用户态libaio数据，数据在host ddr上，将用户空间host ddr映射到内核态。

优选地，所述IDM传输元数据，具体步骤如下：

A1：获取文件lba地址；

A2：将lba地址保存到IDM内部lba list中；

A3：NIC通过P2P的方式将数据从NIC DDR传输到SSD DDR；

A4：NIC将数据所在SSD DDR的地址sddr_addr传入IDM；

A5：IDM根据lba list和sddr_addr list构造bio，并标记bio.flag为IDM_BIO_P2P；

A6：bio通过系统API传入SSD；

A7：SSD根据flag，sddr_addr，lba，data_len等信息将数据写入SSD Flash。

优选地，所述IDM传输元数据，数据存储在网卡DDR上。