[发明专利]用于大数据的服务提供方法

摘要

本发明提供了一种用于大数据的服务提供方法，该方法包括：客户请求模块接受用户所提交的数据读写请求，显示分布式数据存储系统对用户所提交请求的处理结果；业务处理模块接收来自数据读写请求，并以事务的方式对请求进行处理，包括数据分块与重组，然后将处理请求信息发送至传输模块，以完成数据请求信息以及返回数据记录的传输。本发明提出了一种用于大数据的服务提供方法，在大数据存储的实时性、可扩展性和可靠性等方面均有较好的性能。

主权项

1.一种用于大数据的服务提供方法，其特征在于，包括：用户终端的客户请求模块接受用户所提交的数据读写请求，显示分布式数据存储系统对用户所提交请求的处理结果；用户终端的业务处理模块接收来自数据读写请求，并以事务的方式对请求进行处理，包括数据分块与重组，然后将处理请求信息发送至传输模块，以完成数据请求信息以及返回数据记录的传输；所述客户请求模块还用于确定出的读写请求执行顺序，该客户请求模块包括数据收发与排序两个单元，数据收发单元将存储系统传来的事务执行请求接收到用户终端中，并将有序的事务发送给用户终端的业务处理模块进行执行；排序单元对接收到读写请求进行排序操作，在用户终端中协商出一个事务执行队列；所述传输模块中设置专门的传输监听进程，监听进程随整个存储系统初始化，并一直处于监听状态；当存储系统传递的事务数量达到监听进程中预先设置的策略时，则将接收的参数传递给用户终端进行处理；所述业务处理模块对读写请求施加排他锁，即在事务执行前将事务所需的全部资源提前加锁；将底层数据库中的数据存储到缓存中，并将本地缓存中的数据发送给其他用户终端的缓存；通过创建存储过程，对接收到的读写请求进行执行，消除数据查询的异常中断；在读写请求排序过程中，用户终端在接收到传来的读写请求之后，将其传递给存储系统进行处理；每个存储系统接收到读写请求之后，分别创建事务通道对象，然后将读写请求封装成触发事件传递给事务通道对象，由事务通道对象负责具体触发事件的处理，具体包括以下步骤：(1)事务通道对象在接收到触发事件之后，对触发事件中指针类型进行判断后，然后判断该数据库是否是主控节点；如果是主控节点则将其发送给其他所有数据库；如果不是主控节点，则更新本地触发事件的读写请求时间；(2)非主控节点对接收到的触发事件进行处理，如果读写请求时间更新为触发事件中的读写请求时间相同，则表示是同一周期接收到的读写请求，然后每个非主控节点发送读写应答返回给主控节点，表明自己同意该读写请求序列；如果不相同则发送拒绝应答；(3)主控节点对其他数据库传来的触发事件进行监听，判断，并发送有序读写请求，如果与主控节点收到的读写应答的请求时间不同则直接抛弃，如果相同，则将主控节点中应答数量增1；当该数量超过全部数据库数量的一半以上时，则确定读写请求已经完成排序；主控节点将缓存中的读写请求取出，并将其交给事务传输模块的存储系统进行处理，将最终排序后的读写请求发送给所有非主控节点的数据库，从而完成排序。