[发明专利]基于大数据的Flume接收端数据处理方法和装置

摘要

本发明揭示了一种基于大数据的Flume接收端数据处理方法和装置，其中方法包括：获取Event，根据Event header中的信息对Event排序；通过指定的函数查找对应的Source‑body；如果有对应的Source‑body，则直接标记，如果没有，则使用默认的Source‑body，并动态加载Source‑body，形成一个新的Source‑body；选择对应的Source‑body后，对应生成一个队列，新的Event数据会添加到其队列中；当对应的Source‑body类被选中后，Source‑body以其数据类型选择对应的channel，并与之建立联系。本发明提高数据处理的灵活性。

主权项

1.一种基于大数据的Flume接收端数据处理方法，其特征在于，包括：/n将源数据端Source拆分源报头Source-header和源数据Source-body，并在每个时间事件Event中定义报头Header信息，在Source-header中设置指定参数，通过所述指定参数在Source-header中进行解析；所述指定参数包括：指明Event数据所使用的数据传输所用类型DATATYPE；数据源的IP地址或域名ONFIG_BIND；数据源所使用的通讯端口ONFIG_PORT；以及，时间戳函数生成时间戳TIMESTAMP；所述TIMESTAMP还生成16位数位作为字典数位；其中所述字典数位的生成规则为12位IP地址加4位线程PID，若PID小于4位时左边补零，大于四位时取后四位；当大于两个的具有相同系统时间戳的数据由不同线程传入Source header时，Source-header根据字典位中的线程数位进行排序，较小的数据会被先传入相应Source-body中；/n获取Event，并根据Event header中的信息对Event进行排序；/n通过指定的函数查找对应的Source-body；如果有对应的Source-body，则直接标记，如果没有，则使用默认的Source-body，并动态加载Source-body，形成一个新的Source-body；/n选择对应的Source-body后，对应生成一个队列，当新近的Event header与其对应的Source-body队列中的指定信息相同后，新的Event数据会添加到其队列中；/n当对应的Source-body类被选中后，Source-body以其数据类型选择对应的通道channel，并与之建立联系。/n