[发明专利]一种用于籽棉开松有效性的判别方法及系统

权利要求书

1.一种用于籽棉开松有效性的判别方法，其特征在于，利用线阵相机和3D深度相机获取籽棉异纤除杂生产线中开松后的籽棉图像及三维信息，将线扫描图像数据与线扫描3D深度数据进行对齐和融合，在图像识别的基础上通过3D深度数据额外获取棉花成团表面深度信息，结合开松机振动数据，判断开松的有效性；具体包括以下步骤：

步骤1、确定线阵相机单次扫描的像素数h，确定3D深度相机单次扫描的数据数量j，确定开松平均时长对应的采样次数t_k，确定开松机出料到拍摄位置的时长对应的采样次数t_c；

步骤2、确定采样频率和总采样时间，根据除杂效果确定标注标准，即除杂效果达到要求则将对应时间段的采样用独热编码标注为有效，否则标注为无效；

步骤3、使用线阵相机以固定采样率连续采样传送带上经过一次开松的籽棉RGB图像，在连续采样的数据中选取最近w次采样数据X₀表示当前采样，t次前的采样图像为X_-t；

步骤4、使用3D深度相机以线阵相机相同采样率连续采样步骤3中相同位置的籽棉的3D深度数据，在连续采样的数据中选取最近w次采样的3D深度数据Y₀表示当前采样，t次前的采样数据为Y_-t；

步骤5、使用n个安装在开松机内的振动传感器以线阵相机相同采样率连续采样开松机振动数据，在连续采样的数据中选取最近w次采样数据，表达如下：

式中，为t₀次前的采样数据，t₀为采样计数偏移量，是(t₀+w-1)次前的采样数据，是(t₀+w-2)次前的采样数据，w为采样数据的数量；

步骤6、对进行校正，得

步骤7、融合和得是和融合后的矩阵，公式如下：

式中，avgpool⁽¹⁾为按第二维度平均池化为指定尺寸，stack⁽⁰⁾为按首维度方向堆叠，

步骤8、利用LSTM网络提取振动特征，将输入LSTM网络，其t₀次前采样对应的输出记为状态记为n为向量的维度，具体指开松机内安装振动传感器的数量；

步骤9、利用transformer的编码器结构提取图像数据和3D深度数据，构建4个独立的transformer网络的编码器结构共同组成的神经网络，将作为其输入，并按的第一个维度拆分，分别输入4个独立的transformer网络的编码器结构，沿第三个维度添加位置编码，第二个维度对应transformer网络中的词嵌入长度；

步骤10、将步骤9的4个向量堆叠为二维矩阵即堆叠所得的二维矩阵；

步骤11、采用加性方式融合步骤8中的LSTM网络和步骤9中的4个独立的transformer网络的编码器结构共同组成的神经网络的输出，融合和得O，O是和融合所得的矩阵，分别将和进行4次重复堆叠得和并应用以下公式进行融合：

式中，W₁，W₂为可学习的权重参数矩阵，符号“+”指矩阵加法，符号“⊙”指按元素相乘，是进行4次重复堆叠得到的矩阵，是进行4次重复堆叠得到的矩阵，表示实数张量空间，n是开松机内安装振动传感器的数量；

步骤12、将步骤11中O输入多层前馈神经网络，经softmax得出开松有效性判别向量：

式中，e₁为开松无效，e₂为开松有效，T为数据采样时间段，t是采样的时间点，P是概率，若P(e₁|t∈T)＞0.5则为开松无效，否则为开松有效。

2.根据权利要求1所述的用于籽棉开松有效性的判别方法，其特征在于，所述步骤7中图像数据和3D深度数据采用矩阵堆叠的方式进行融合以达到空间和时间对齐的目的。

3.根据权利要求2所述的用于籽棉开松有效性的判别方法，其特征在于，按步骤9，对多图像数据和3D深度数据融合后的数据按通道划分作为独立并行的transformer编码器结构的输入，单次采样的像素或数据量对应的维度作为transformer的编码器结构的词嵌入长度。