[发明专利]一种分布式在线流处理服务系统

摘要

本发明涉及一种分布式在线流处理服务系统，包括流处理请求服务器、许可与分发服务器、流处理服务器群、信息展示服务器和监视服务器，本发明采取将流处理请求动态匹配对应的流处理服务器群中的流处理服务器，使得流处理服务器群执行流处理请求服务的效率得到极大的提高。

主权项

1.一种分布式在线流处理服务系统，其用于流式处理在线数据，其特征在于包括：流处理请求接收服务器，其通过网络接收流处理请求方发送的流处理请求；许可与分发服务器，其与流处理请求接收服务器连接，对所述接收的流处理请求是否发出许可响应，如果许可，则向请求方发送许可的响应消息，并将所述流处理请求发送给分布式流处理服务器群，如果不允许，则向所述请求方发送拒绝的响应消息；分布式流处理服务器群，其与许可与分发服务器连接，接收到所述许可与分发服务器发送的流处理请求，处理数据流，并将处理完成的数据流通过网络发送给所述请求方；监视服务器，其与分布式流处理服务器群连接，监视分布式流处理服务器群的工作状态；信息展示服务器，其与监视服务器连接，用于将所述监视服务器获取的信息予以展示；其中，所述流处理请求服务器接收到所述流处理请求时，根据请求的参数确定所述流处理请求的优先级，并将所述流处理器请求及其优先级发送给所述许可与分发服务器；所述分布式流处理器服务器群至少包括二台独立的流处理服务器，所述分布式流处理器服务器群将每台流处理服务器的处理能力等级定期反馈给所述许可与分发服务器；所述许可与分发服务器接收到所述流处理请求的优先级，基于所述优先级和所述流处理服务器的处理能力等级将所述流处理请求发送给所述分布式流处理器服务器群中的相应流处理服务器；所述分布式流处理器服务器群中每一台流处理服务器的所述处理能力等级根据其处理数据流的负荷情况动态变化，其特征在于：当所述流处理服务器负荷低于或者等于第一预定值n1时，其处理能力等级上升二级；当所述流处理服务器负荷大于第一预定值n1时，但小于或者等于第二预定值n2时，其处理能力等级上升一级；当所述流处理服务器负荷大于第三预定值n3，但小于或者等于第四预定值n4时，其处理能力等级下降一级；当所述流处理服务器负荷大于第四预定值n4时，其处理能力等级下降二级；其中，n1＜n2＜n3＜n4，所述处理能力等级的取值范围在0‑5之间，0为最低等级，5为最高等级，如果取值范围超过上限时，则取上限5，如果低于下限时，则取下限0；所述流处理服务器的负荷P按照如下公式计算：P＝流处理服务器接收的需要处理的数据的输入速度S2/流处理服务器处理数据的速度S1；当所述分布式流处理服务器群中存在至少一个重负荷流处理服务器时，所述许可与分发服务器则不再许可新的流处理请求，并通过监视服务器监视分布式流处理服务器群中的每一台流处理服务器，如果存在轻负荷流处理服务器时，则将重负荷流处理服务器处理的数据流通过拆分的方式分发给至少一台轻负荷流处理器服务器；如果不存在轻负荷流处理服务器，所述许可与分发服务器通知所述流处理请求接收服务器停止接收流处理请求，并将所述重负荷流处理服务器处理的数据流通过拆分的方式分发给流处理请求接收服务器，由流处理请求接收服务器执行流处理任务；其中，流处理服务器的流处理负荷大于第五预定值n5时，则被称为重负荷流处理服务器，流处理负荷小于等于第一预定值n1时，且处理能力等级大于3的流处理服务器，则被称为轻负荷流处理服务器；当监视服务器监视分布式流处理服务器群中的每一台流处理服务器都为轻负荷流处理服务器时，如果所述流处理请求接收服务器处于执行流处理任务的作状态时，则通知所述流处理请求接收服务器恢复接收流处理请求，并将其承担的但未完成的流处理任务转发给分布式流处理服务器群中的负荷最轻的流处理服务器。