[发明专利]一种输入/输出批量提交的方法和系统

说明书

本发明公开了一种输入/输出批量提交的方法和系统，涉及计算机技术领域。该方法的一具体实施方式包括：获取当前时段至少一个维度的数据；根据提交参数的基准值分析所述维度的数据，以确定出提交参数的数值；根据所述确定出的提交参数的数值，进行输入/输出的批量提交。本发明实施例能够提高输入/输出IO批量提交的性能，减少了CPU的占用和IO提交线程数，解决了现有技术中提交参数不能调整导致的系统资源浪费以及提交性能和稳定性低的问题。

技术领域

本发明涉及计算机技术领域，尤其涉及一种输入/输出批量提交的方法和系统。

背景技术

现有技术中，输入/输出(Input/Output，IO)提交的方法主要包括同步的阻塞式流形式、NIO和Netty的方式。同步的阻塞式流形式是先向缓冲区写数据，缓冲区满后向IO系统批量提交数据。但是在该过程中，是采用固定大小的的数据包批量提交，不仅只能一收一发，而且采用的数据包也比较小。NIO是通过程序查询每个通道是否有到达事件，如果没有事件，则一直阻塞在那里，因此这种方式会导致用户线程的阻塞。Netty是一个开源框架，对New IO的封装，采用哈希轮的方式对New IO的多线程进行调度，以提高IO系统的性能。

上述方法在实施过程中，存在以下问题：提交的数据包的大小一直是固定的，而且对于同步的阻塞式流形式只能进行一收一发，虽然NIO和Netty的方式，可同时处理多线程异步数据，但是对于利用多线程占满IO系统的带宽，不仅可能会降低IO系统的性能，而且发包频率等提交参数的数值都是固定的，不能进行智能调整。

发明内容

有鉴于此，本发明实施例提供一种输入/输出批量提交的方法和系统，能够提高输入/输出IO批量提交的性能，减少了CPU占用和IO提交线程数，解决了现有技术中提交参数不能调整导致系统资源浪费以及提交性能和稳定性低的问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种输入/输出批量提交的方法。

本发明实施例的输入/输出批量提交的方法包括：获取当前时段至少一个维度的数据；根据提交参数的基准值分析所述维度的数据，以确定出提交参数的数值；根据所述确定出的提交参数的数值，进行输入/输出的批量提交。

可选地，根据提交参数的基准值分析所述维度的数据，以确定出提交参数的数值的步骤包括：对获取到的每个维度的数据进行分析，以确定出该维度所对应的提交参数的基准值；根据每个维度的加权值，确定出加权基准值；将提交参数的数值调整为所述加权基准值。

可选地，在确定出提交参数的数值之前，还包括：通过第一训练模型对第一样本数据进行学习，以确定出所述维度的各个区间，以及各个区间中每个提交参数的基准值；其中，所述第一样本数据包括：维度的样本数据以及该维度的样本数据所对应的提交参数的数值。

可选地，在根据所述确定出的提交参数的数值，进行输入/输出的批量提交之后，还包括：获取批量提交时的维度的数据，并且记录该维度的数据以及所述确定出的提交参数的数值；则，将所述记录的数据作为所述第一样本数据。

可选地，在根据所述确定出的提交参数的数值，进行输入/输出的批量提交之后，还包括：按照预设的时间段统计掉包率；以及，根据所述掉包率和调整范围，调整提交参数的数值。

可选地，在根据所述掉包率和调整范围，调整提交参数的数值之前，还包括：通过第二模型对第二样本数据进行学习，以确定出掉包率的各个区间，以及各个区间中每个提交参数的基准值的调整范围；其中，所述第二样本数据包括：维度的样本数据以及该维度的样本数据所对应的提交参数的数值和掉包率。

可选地，所述维度至少包括以下一种：时间段、网络传输速度、内部线程、带宽和延迟大小、CPU和内存；

所述提交参数至少包括以下一种：缓存大小、数据包大小、提交线程数量以及发包频率。