[发明专利]获取测试数据的方法、装置、设备及存储介质

说明书

本发明提供了一种获取测试数据的方法、装置、设备及存储介质，其中，方法包括：获取待获取的测试数据的数据信息；其中，所述数据信息至少包括所述测试数据的名称信息；基于所述数据信息选取多个生产机器节点与测试机器连接；通过各个所述生产机器节点接收所述测试机器上传的测试数据块；基于所述TOKEN标签将各个所述生产机器节点上传的测试数据块进行汇总，得到所述测试数据；将所述测试数据存储于所述区块链中对应的存储池中，以使各个所述生产机器节点进行调用。本发明的有益效果提高了测试数据的传输效率，使得生产环境中的生产机器可以快速获取到测试数据。

技术领域

本发明涉及测试领域，特别涉及一种获取测试数据的方法、装置、设备及存储介质。

背景技术

为了实现生产环境中各个生产机器中的各个模型的训练，一般需要从测试环境中获取对应的测试数据，以便于完成对模型的快速训练。目前，获取测试数据的方式主要是通过git（开源的分布式版本控制系统）的方式去获取对应的测试数据，再对测试数据进行编译，根据编译结果发送给对应的生产机器，但是这种方式获取测试数据仍然比较缓慢，因此继亟需一种获取测试数据的方法。

发明内容

本发明的主要目的为提供一种获取测试数据的方法、装置、设备及存储介质，旨在解决通过git的方式获取测试数据比较缓慢的问题。

本发明提供了一种获取测试数据的方法，包括：

获取待获取的测试数据的数据信息；其中，所述数据信息至少包括所述测试数据的名称信息；

基于所述数据信息选取多个生产机器节点与测试机器连接；其中所述生产机器节点为区块链中的一个节点，所述测试机器内含有所述测试数据；

通过各个所述生产机器节点接收所述测试机器上传的测试数据块；其中，所述测试数据块为所述测试机器将所述测试数据分割后的数据块，各所述测试数据块中含有各自在测试数据中的位置所对应的TOKEN标签，各个所述生产机器节点接收所述测试数据块后上传至所述区块链中；

基于所述TOKEN标签将各个所述生产机器节点上传的测试数据块进行汇总，得到所述测试数据；

将所述测试数据存储于所述区块链中对应的存储池中，以使各个所述生产机器节点进行调用。

进一步地，所述基于所述数据信息选取多个生产机器节点与测试机器连接的步骤，包括：

基于所述数据信息获取所述测试数据的大小；

根据文件大小和测试数据块划分数目的预设对应关系，并基于所述测试数据的大小，得到所述测试数据块的块数量；

基于所述块数量在所述区块链中按照预设的选取方法选取与所述块数量一样数目的生产机器节点与所述测试机器连接。

进一步地，所述基于所述TOKEN标签将各个所述生产机器节点上传的测试数据块进行汇总，得到所述测试数据的步骤之后，还包括：

将所述测试数据输入至预设的向量机中，得到对应固定维度的文件向量X=（x₁，x₂，…，x_i，…，x_n）；

根据公式计算所述文件向量与每个生产机器节点对应的预存类别向量之间的匹配度；其中，Y为各消息队列对应的预存类别向量的多维坐标，Y=（y₁，y₂，…，y_i，…，y_n），x_i表示文件向量中第i维的数值，y_i表示对应的预存类别向量中第i维的数值，s_i为第i维数据所对应的系数，为设定的参数值；

选取所述匹配度大于预设匹配度的机器向量对应的目标生产机器节点，并将所述测试数据发送至各所述目标生产机器节点上。