[发明专利]一种数据处理的方法及相关装置

权利要求书

1.一种数据处理的方法，其特征在于，所述方法应用于数据处理系统，所述数据处理系统包括数据接入模块、数据处理模块和数据发布模块，所述数据接入模块与至少一个数据源对接，所述数据发布模块与N个业务系统对接，其中，N为正整数，所述方法包括：

获取来自所述至少一个数据源的M条原始数据，其中，M为正整数；

从所述M条原始数据中选择满足预设条件的K条原始数据，其中，K为不大于M的正整数；

对所述K条原始数据进行并行处理，以得到待发布数据；

根据所述N个业务系统对数据接收的频率需求，将所述待发布数据发送给所述N个业务系统。

2.根据权利要求1所述的方法，其特征在于，所述从所述M条原始数据中选择满足预设条件的K条原始数据包括：

获取所述M条原始数据的M个存活时长，其中，所述M条原始数据与所述M个存活时长一一对应，所述M个存活时长用于表示所述M条原始数据从生成到被接收的时间；

根据所述M个存活时长，从所述M条原始数据中选择存活时长不超过预设时长的所述K条原始数据。

3.根据权利要求2所述的方法，其特征在于，所述对所述K条原始数据进行并行处理包括：

获取所述K条原始数据的数据类型；

将所述K条原始数据按照数据类型分为Q组原始数据，其中，Q为不大于K的正整数，所述Q组原始数据的每组原始数据中数据的数据类型都相同，所述Q组原始数据有Q种数据类型；

将所述Q组原始数据按照数据类型的不同分别分到Q个线程进行并行处理，其中，所述Q组原始数据与所述Q个线程一一对应。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述对所述K条原始数据进行并行处理，以得到待发布数据之后，所述根据所述N个业务系统对数据接收的频率需求，将所述待发布数据发给所述N个业务系统之前，还包括：

将所述待发布数据放入第一队列；

当所述N个业务系统中任意一个系统对数据接收的数据类型需求为原始数据类型时，确定所述任意一个系统为第一业务系统；

从所述第一队列中获取所述待发布数据，其中，所述原始数据类型为所述待发布数据中所有数据的数据类型。

5.根据权利要求4所述的方法，其特征在于，还包括：

当所述N个业务系统中任意一个系统对数据接收的数据类型需求为特定数据类型时，确定所述任意一个系统为第二业务系统；

从所述第一队列中获取所述待发布数据；

将所述待发布数据放入第二队列；

对所述第二队列中的所述待发布数据按照所述特定数据类型进行筛选，以使所述第二队列中的数据为所述特定数据类型的待发布数据，其中，所述特定数据类型为所述待发布数据中特定数据的数据类型。

6.根据权利要求4所述的方法，其特征在于，所述根据所述N个业务系统对数据接收的频率需求，将所述待发布数据发送给所述N个业务系统包括：

获取所述第一业务系统对数据接收的频率需求；

当所述第一业务系统对数据接收的频率需求为实时接收时，从所述第一队列中获取所述待发布数据后，将所述待发布数据发给所述第一业务系统；

当所述第一业务系统对数据接收的频率需求为特定时间点接收时，将从所述第一队列中获取的所述待发布数据进行缓存，在所述特定时间点将所述待发布数据发给所述第一业务系统。

7.根据权利要求5所述的方法，其特征在于，所述根据所述N个业务系统对数据接收的频率需求，将所述待发布数据发送给所述N个业务系统包括：

获取所述第二业务系统对数据接收的频率需求；

当所述第二业务系统对数据接收的频率需求为实时接收时，从所述第二队列中获取所述特定数据类型的待发布数据，将所述特定数据类型的待发布数据发给所述第二业务系统；

当所述第二业务系统对数据接收的频率需求为特定时间点接收时，从所述第二队列中获取所述特定数据类型的待发布数据，将所述特定数据类型的待发布数据进行缓存，在所述特定时间点将所述特定数据类型的待发布数据发给所述第二业务系统。