[发明专利]以空间水平和垂直方向为通道方向的神经网络上采样方法

摘要

本发明涉及一种以空间水平方向和垂直方向为通道方向的神经网络上采样方法，包括下列步骤：第一步：基于卷积和池化的图像下采样。第二步：以水平方向为通道方向的水平方向上采样。第三步：以垂直方向为通道方向的垂直方向上采样：在x‑z空间上利用一个卷积核在x‑z空间上滑动进行卷积。第四步：传统通道方向的通道变换：在x‑y空间上利用卷积核在x‑y空间上滑动进行卷积。

主权项

1.一种以空间水平方向和垂直方向为通道方向的神经网络上采样方法，包括下列步骤，第一步：基于卷积和池化的图像下采样：对于输入高度为H、宽度为W、通道数为C的图像，经过卷积和下采样操作，得到下采样结果，该结果的水平方向的宽度被下采样了d倍变为W/d，垂直方向的高度被下采样了d倍变为H/d，通道方向的通道数为L，将图像的水平方向标记为x；将图像的垂直方向标记为y，将颜色通道方向标记为z；第二步：以水平方向为通道方向的水平方向上采样：在y‑z空间上利用卷积核kyz在y‑z空间上滑动进行卷积，该卷积核的大小为n×n×(W/d)×W，其中第一个n代表该卷积核在垂直通道方向上的大小，第二个n表示该卷积核在传统通道方向上的大小，W/d表示该卷积核在水平方向上的大小，W表示该卷积核输出的通道个数，该卷积核将水平方向上的通道数由W/d上采样到W，经过kyz的卷积完成了水平方向上的d倍上采样；第三步：以垂直方向为通道方向的垂直方向上采样：在x‑z空间上利用一个卷积核kxz在x‑z空间上滑动进行卷积；该卷积核的大小为n×n×(H/d)×H，其中第一个n代表该卷积核在水平通道方向上的大小，第二个n表示该卷积核在传统通道方向上的大小，H/d表示该卷积核在垂直通道方向上的大小，最后的H表示该卷积核输出的通道个数，该卷积核将垂直方向上的通道数由H/d上采样到H，经过kxz的卷积得到垂直方向上的d倍上采样，同时保留了在水平方向上的d倍上采样；从而同时实现了水平和垂直方向上的d倍上采样；第四步：传统通道方向的通道变换：在x‑y空间上利用卷积核kxx在x‑y空间上滑动进行卷积，该卷积核的大小为m×m×L×C′，其中第一个n代表该卷积核在水平通道方向上的大小，第二个n表示该卷积核在垂直通道方向上的大小，L表示该卷积核在传统通道方向上的大小，C′表示该卷积核输出的通道个数。该卷积核可以将传统通道方向上的通道数由L变为C′。