[发明专利]流数据处理方法、装置及设备

说明书

本申请公开了一种流数据处理方法、装置及设备，检测到针对流数据源产生的流数据的查询指令时，开始对第一时间段内接收到的流数据进行拆开，生成与该流数据对应的数据记录，第一时间段到达时，将得到与接收到的多条流数据一一对应的数据记录，此时，通过查询得到的多条数据记录，即可直接得到所需查询结果，尤其是能够实时获得流数据的变化趋势，无需长时间等待，大大提高了数据查询效率，满足了满足目前很多业务实时掌握流数据的变化趋势的要求。

技术领域

本申请涉及流处理技术领域，更具体地说是涉及一种流数据处理方法、装置及设备。

背景技术

流数据是一组顺序、大量、快速、连续到达的数据序列，一般情况下，数据流可被视为一个随时间延续而无限增长的动态数据集合，包括有多种数据，如客户使用移动或Web应用程序生成的日志文件、网购数据、游戏内玩家活动、社交网站信息、金融交易大厅或地理空间服务，以及来自数据中心内所连接设备或仪器的遥测数据等等。

目前，在网络监控、传感器网络、航空航天、气象测控和金融服务等很多应用领域，通常是通过对滚动时间窗口内的数据，或仅对最近的数据记录进行聚合、筛选或取样等处理，实现卫星云图监测、股市走向分析、网络攻击判断，还能够帮助企业实时跟踪公众对其品牌和产品的看法的变化，以便在必要时及时做出反应。

基于此，现有的流数据处理方法通常是对接收到的流数据进行逐条分析处理后，发送至数据库存储，之后，用户再通过查询数据库，获得所需的统计结果，如分析某类流数据变化趋势等。然而，这种方式需要等待规定时间段的流数据都保存至数据库，才能查询数据得到所需统计结果，具有很长的滞后时间，无法满足目前很多业务实时掌握流数据的变化趋势的要求。

发明内容

鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的流数据处理方法、装置及设备。

本申请实施例提供了一种流数据处理方法，所述方法包括：

检测到针对流数据源产生的流数据的查询指令；

对第一时间段内接收到的所述流数据进行拆分，生成对应的数据记录，所述第一时间段是从检测到所述查询指令时刻开始的预设时长；

获得查询条件，并按照所述查询条件对所述数据记录进行查询；

输出得到的查询结果。

优选的，所述方法还包括：

清除所述第一时间段内生成的数据记录。

优选的，所述对第一时间段内接收到的所述流数据进行拆分，生成对应的数据记录，包括：

按照预设表结构信息，对从检测到所述查询指令时刻开始接收到的流数据进行拆分；

将拆分得到的每一项数据内容记录到所述预设表结构信息对应的字段下，生成相应时刻接收到的流数据对应的数据记录，直至计时结果达到第一时间段。

优选的，所述按照所述查询条件对所述数据记录进行查询，包括：

筛选所述数据记录中满足所述查询条件的目标数据记录，所述目标数据记录包含目标数据；

统计所述目标数据记录的数量，和/或，获得所述目标数据记录中目标数据的变化趋势。

优选的，所述对第一时间段内接收到的所述流数据进行拆分，生成对应的数据记录包括：

按照第一时间段内接收到的所述流数据中的分隔符，对所述流数据进行拆分；

利用一个流数据拆分得到的各数据，生成对应的一条数据记录。

优选的，所述输出查询结果包括：

将得到的查询结果发送至外部存储设备保存；