[发明专利]一种数据传输的方法和系统

说明书

本申请实施例提供了一种数据传输的方法和系统，该方法包括：发送端对接收端发出的数据传输请求进行接收；所述发送端基于所述数据传输请求生成数据传输对象，所述数据传输对象包括命令体和数据体；所述发送端通过反射机制传输所述命令体，并通过流传输传输所述数据体；接收端对所述命令体进行解析，根据解析结果将所述数据体进行写入，通过流传输传输所述数据体，本申请实施例提供的一种数据传输的方法和系统能够结合基于命令和基于数据的数据传输架构的优势，按统一带宽将目标数据传输至接收端，减小了分时传输造成的数据延迟、影响带宽等，提高了数据传输的效率。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据传输的方法和系统。

背景技术

中后台中间件采用两种不同的数据或者命令架构进行远程通信。其中，基于命令通信：常见的框架技术包括dubbo、spring cloud、thrift、ICE等等；基于数据通信：常见的框架技术包括datax、hadoop pipe line等。

基于此，本发明的发明人发现，基于命令的通信架构对大规模数据传输的性能太低、基于数据的通信架构对命令交互易用性太差，两种通信架构各自有所欠缺。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

发明内容

本申请实施例的目的是提供一种数据传输的方法和系统，能够结合基于命令和基于数据的数据传输架构的优势。

为解决上述技术问题，本申请实施例是通过以下各方面实现的。

第一方面，本申请实施例提供了一种数据传输的方法，包括：发送端对接收端发出的数据传输请求进行接收；所述发送端基于所述数据传输请求生成数据传输对象，所述数据传输对象包括命令体和数据体；所述发送端通过反射机制传输所述命令体，通过流传输传输所述数据体；接收端对所述命令体进行解析，根据解析结果将所述数据体进行写入。

在一种可能的实现方式中，所述发送端基于所述数据传输请求生成数据传输对象时，将待传输所述接收端的数据体和既定格式的命令体进行封装。

在一种可能的实现方式中，所述方法还包括，所述发送端对所述命令体进行序列化处理，具体为：通过重写面向对象编程语言Java的软件开发工具包jdk中的可写writable和可读readable接口实现所述命令体的序列化，便于数据传输。

在一种可能的实现方式中，所述接收数据传输请求包括：所述发送端采用套接字Socket通信方式接收所述数据传输请求。

在一种可能的实现方式中，所述接收数据传输请求包括：所述发送端通过线程池进行线程并发，接收所述数据传输请求。

在一种可能的实现方式中，所述接收端对所述命令体进行解析，根据解析结果将所述数据体进行写入包括：所述接收端对所述命令体进行反序列化，对所述数据体执行对应的写入操作。

第二方面，本申请实施例提供了一种数据传输的系统，包括发送端和接收端，所述发送端包括：接收模块，用于对接收端发出的数据传输请求进行接收；生成模块，用于基于所述数据传输请求生成数据传输对象，所述数据传输对象包括命令体和数据体；传输模块，用于通过反射机制传输所述命令体，并通过流传输传输所述数据体；所述接收端包括：解析模块，用于对所述命令体进行解析，根据解析结果将所述数据体进行写入。

所述生成模块用于基于所述数据传输请求生成数据传输对象时，将待传输所述接收端的数据体和既定格式的命令体进行封装。

在一种可能的实现方式中，所述发送端还包括序列化模块，用于对所述命令体进行序列化处理，具体为：通过重写面向对象编程语言Java的软件开发工具包jdk中的可写writable和可读readable接口实现所述命令体的序列化，便于数据传输。