[发明专利]一种事件库、可扩展数据管理系统及其管理方法

说明书

本发明属于计算机技术领域，公开了一个面向可扩展数据管理系统的高性能事件库，主要包括：采用异步非阻塞的技术实现多线程处理网络I/O，能够达到对I/O密集型短任务更加高效的处理，充分发挥了新硬件趋势下的多核处理器性能。该事件库底层采用事件循环模型对事件进行注册和更改，支持同步与异步网络传输，同时实现网络编程与网络协议的隔离，管理系统中服务器间的连接以及连接的输入输出缓冲区，处理收包发包逻辑。本发明通过安装库的方式进行配置即可使用于系统软件的开发。该事件库具有可扩展性，并且对短任务的处理有更明显的性能提升。

技术领域

本发明属于计算机技术领域，具体涉及一种事件库、可扩展数据管理系统及其管理方法。

背景技术

互联网应用的蓬勃发展产生了对海量数据存储和处理的更高要求，传统单机模式的数据库管理系统及其纵向扩展方式已经无法满足这样的需求。随着计算机网络与通信技术的发展，可扩展数据管理系统成为许多互联网企业的选择。可扩展数据管理系统采用集群式架构，与传统的数据库最大的区别在于其在逻辑上对数据库管理系统进行了分布。系统将数据分布存储在部分节点，又有另外的部分节点负责并行处理查询和事务。因此，在这样的数据库管理系统中，各节点间需要传输和处理的数据有很多，包括节点的一些控制信息、元数据，也包括各存储节点、查询处理节点以及事务处理节点上的用户数据。

大多数的数据库管理系统采用传统的网络服务器模型如单I/O线程模型或者I/O多路复用模型，让服务端将从网络接收到的请求压入队列，并等待工作线程取出请求再处。PostgreSQL则采用进程间通信配合工作线程的方式来处理网络请求。在可扩展数据管理系统架构下，这些方法实现的网络服务依然存在以下问题需要解决:

(1)阻塞型接口本质上没有很好地发挥大内存和多核的新硬件特点；

(2)对系统内所有需要传输和处理的数据采用一刀切的工作线程处理方式，会因为较多的I/O密集型短任务而增加网络等待以及上下文切换的资源开销。

可扩展数据管理系统中各节点职能分割清晰，节点间需要传输和处理的数据类型较多，其中包括很多可以快速被处理和返回的请求，需要一种网络传输机制支持这样的短任务不用经过网络排队即可在网络I/O线程处理。

基于上述需求，本发明提出了一种面向可扩展数据管理系统的事件库，该事件库采用异步非阻塞技术发挥大内存和多核的新硬件优势，并且支持对系统内不同长短的任务进行区别的处理，长任务压入队列交又工作线程处理减少网络阻塞，短任务就地处理节省等待时间减少上下文切换。

发明内容

本发明提出了一个面向可扩展数据管理系统的事件库，所述事件库以开源高效的libev为基础，封装读写与超时事件在socket上的观测与响应机制，管理网络连接的输入输出缓冲区，将网络请求包的编码解码接口和处理请求包的回调函数暴露给用户；所述事件库包括：用于实现发送网络请求、接收处理响应，管理输入缓冲区的客户端，和用于实现接收、处理网络请求，返回处理响应，管理输出缓冲区的服务端；所述客户端与所述服务端通信。

本发明提出的所述事件库中，在所述事件库作为收包服务端使用时，注册的用户实现的process回调函数中，用户可配置短任务直接处理，长任务压入其他工作线程的队列；所述收包服务端用于系统中的任意节点作为网络请求服务端时使用，支持用户配置网络I/O线程数，设置TCP参数，开启负载检查，注册相关用户实现的回调函数。

本发明提出的所述事件库中，在所述事件库作为发包客户端使用时，用户可配置网络包的编码解码回调函数，自定义网络包的同步或异步发送接口；所述发包客户端用于系统中任意节点作为网络请求客户端时使用，支持用户封装同步发包与异步发包接口，注册相关用户实现的回调函数。