import torch import torch.nn as nn import torch.nn.functional as F from einops import rearrange, repeat from timm.models.layers import DropPath, to_2tuple, trunc_normal_ import timm from timm.models import MobileNetV3 ''' 这个类代表了一个序列结构，包括卷积、批归一化和ReLU激活函数。它用于在模型中创建一个卷积层，然后跟随批归一化层和ReLU激活函数。 ''' class ConvBNReLU(nn.Sequential): def __init__(self, in_channels, out_channels, kernel_size=3, dilation=1, stride=1, norm_layer=nn.BatchNorm2d, bias=False): super(ConvBNReLU, self).__init__( nn.Conv2d(in_channels, out_channels, kernel_size=kernel_size, bias=bias, dilation=dilation, stride=stride, padding=((stride - 1) + dilation * (kernel_size - 1)) // 2), norm_layer(out_channels), nn.ReLU6() ) ''' padding=((strid-1) + dilation * (kernel_size-1)) // 2) 是为了确保在应用卷积操作后，输出的特征图的空间维度（宽度和高度）与输入特征图的空间维度之间存在一种关系。这个公式是基于“保持维度”的原则，即输出特征图的空间维度应该是输入维度除以步长。 这个公式是如何得来的呢？考虑一个简单的例子，假设 stride 和 dilation 都为1，那么标准的 padding 应该是 (kernel_size - 1) // 2。这是因为一个 kernel_size x kernel_size 的卷积核在边缘进行卷积时，会“丢失”掉一些边缘信息，因此需要在边缘填充 kernel_size - 1 的一半来保持维度。 当 stride 大于1时，每次卷积会跳过 stride - 1 个像素，这会导致输出的特征图更小。为了补偿这种尺寸的减少，需要更多的 padding。 当 dilation 大于1时，卷积核的点之间有间隔，这相当于扩大了卷积核的感受野，但也会导致输出的特征图尺寸减小。因此，也需要更多的 padding 来保持维度。 ''' class ConvBN(nn.Sequential): def __init__(self, in_channels, out_channels, kernel_size=3, dilation=1, stride=1, norm_layer=nn.BatchNorm2d, bias=False): super(ConvBN, self).__init__( nn.Conv2d(in_channels, out_channels, kernel_size=kernel_size, bias=bias, dilation=dilation, stride=stride, padding=((stride - 1) + dilation * (kernel_size - 1)) // 2), norm_layer(out_channels) ) ''' nn.ReLU6() f(x) = min(max(0, x), 6) 如果输入 x 是负数，ReLU6函数的输出将是0（负数部分被抑制）； 如果输入 x 是正数但小于6，输出将是 x 本身；如果输入 x 大于或等于6，输出将被限制为6。 ''' class Conv(nn.Sequential): def __init__(self, in_channels, out_channels, kernel_size=3, dilation=1, stride=1, bias=False): super(Conv, self).__init__( nn.Conv2d(in_channels, out_channels, kernel_size=kernel_size, bias=bias, dilation=dilation, stride=stride, padding=((stride - 1) + dilation * (kernel_size - 1)) // 2) ) ''' 这个类代表了一个序列结构，包括深度可分离卷积、批归一化和ReLU激活函数。深度可分离卷积是一种轻量级的卷积操作，适用于模型中的参数数量和计算量较大的情况。 在深度可分离卷积中，第一个卷积层（深度卷积层）的目的是在每个输入通道上分别应用卷积，而不进行通道间的信息混合。 这是通过设置 groups=in_channels 参数来实现的，它使得每个输入通道都有一个独立的过滤器组（即每个通道都有自己的卷积核），从而保持了输入和输出通道数相同。 当你设置groups=in_channels时，你实际上是在实现深度卷积（depthwise convolution），这是分组卷积的一种特殊情况。 在深度卷积中，每个输入通道都有一个对应的过滤器组，每个过滤器组只有一个通道。 因此，每个过滤器只在一个通道上进行卷积，而不是在所有通道上。 这种操作大幅度减少了参数的数量和计算量，因为它允许每个通道独立地学习空间特征。 ''' class SeparableConvBNReLU(nn.Sequential): def __init__(self, in_channels, out_channels, kernel_size=3, stride=1, dilation=1, norm_layer=nn.BatchNorm2d): super(SeparableConvBNReLU, self).__init__( nn.Conv2d(in_channels, in_channels, kernel_size, stride=stride, dilation=dilation, padding=((stride - 1) + dilation * (kernel_size - 1)) // 2, groups=in_channels, bias=False), norm_layer(out_channels), # 逐点卷积 nn.Conv2d(in_channels, out_channels, kernel_size=1, bias=False), nn.ReLU6() ) ''' 这个类也代表了一个序列结构，包括深度可分离卷积和批归一化，但没有ReLU激活函数。 ''' class SeparableConvBN(nn.Sequential): def __init__(self, in_channels, out_channels, kernel_size=3, stride=1, dilation=1, norm_layer=nn.BatchNorm2d): super(SeparableConvBN, self).__init__( nn.Conv2d(in_channels, in_channels, kernel_size, stride=stride, dilation=dilation, padding=((stride - 1) + dilation * (kernel_size - 1)) // 2, groups=in_channels, bias=False), norm_layer(out_channels), nn.Conv2d(in_channels, out_channels, kernel_size=1, bias=False) ) ''' 这个类代表一个简单的深度可分离卷积层，没有批归一化或激活函数。 ''' class SeparableConv(nn.Sequential): def __init__(self, in_channels, out_channels, kernel_size=3, stride=1, dilation=1): super(SeparableConv, self).__init__( nn.Conv2d(in_channels, in_channels, kernel_size, stride=stride, dilation=dilation, padding=((stride - 1) + dilation * (kernel_size - 1)) // 2, groups=in_channels, bias=False), nn.Conv2d(in_channels, out_channels, kernel_size=1, bias=False) ) ''' 这个类代表一个多层感知器（MLP），用于在模型中添加一个全连接层。它可以用于提取特征或进行非线性变换。 MLP 类包含了一个输入层、多个隐藏层和一个输出层。每个隐藏层都是由线性层和 ReLU 激活函数组成的。 在 MLP 中使用正则化的方式通常是将正则化层放置在隐藏层的全连接层之后，并在激活函数之前应用。 in_features： 通常出现在全连接层（nn.Linear）中。 它指的是输入张量的特征数量，即输入层的神经元数量。 例如，如果你有一个形状为(batch_size, in_features)的输入张量，那么in_features就是该张量中第二个维度的大小。 in_channels： 通常出现在卷积层（nn.Conv2d、nn.Conv3d等）中。 它指的是输入数据的通道数，例如在图像中，彩色图像通常有3个通道（红、绿、蓝）。 对于二维卷积层nn.Conv2d，输入张量的形状通常是(batch_size, in_channels, height, width)，其中in_channels是第二个维度的大小。 在这种情况下，in_features实际上代表了全连接层的输入特征数，而in_channels则代表了二维卷积层的输入通道数。 mlp结构 1、输入层：接收形状为[batch_size, in_features, height, width]的四维张量。 2、第一个全连接层（fc1）：将输入层连接到隐藏层。该层有hidden_features个输出，每个输出都连接到输入层的所有in_features。： 它的主要作用是将前一层的所有激活单元与当前层的每个神经元都完全连接起来 3、激活函数（act）：使用ReLU6作为激活函数。通常在全连接层之后会应用一个非线性激活函数 4、Dropout层（drop）：在训练过程中，以概率drop随机将隐藏层的某些输出置零，以减少过拟合。 Dropout是一种正则化技术，用于防止神经网络过拟合。 在训练过程中，由于每次都会随机丢弃不同的神经元，实际上每次前向传播都是在训练一个不同的网络。在测试时，所有这些网络的预测可以平均起来，以提高性能。 5、第二个全连接层（fc2）：将隐藏层连接到输出层。该层有out_features个输出，每个输出都连接到隐藏层的所有hidden_features。 6、输出层：返回形状为[batch_size, out_features, height, width]的四维张量。 ''' class Mlp(nn.Module): def __init__(self, in_features, hidden_features=None, out_features=None, act_layer=nn.ReLU6, drop=0.): super().__init__() out_features = out_features or in_features # 这行代码的意思是，如果out_features已经被提供了一个值，那么out_features就等于这个提供的值。如果没有为out_features提供值（即out_features为None）， # 那么out_features将被设置为in_features的值。 ''' if out_features is None: out_features = in_features ''' hidden_features = hidden_features or in_features self.fc1 = nn.Conv2d(in_features, hidden_features, 1, 1, 0, bias=True) ''' 是的，当全连接层使用nn.Conv2d实现时，卷积核的大小通常是1x1 在卷积神经网络（CNN）中，卷积层通常与激活层（如ReLU）一起使用。如果卷积层的输出将直接馈送到激活层，那么偏置项可能不是必需的， 因为激活函数本身可能会引入偏置效果（例如，ReLU函数的输出在负数输入时为0，可以看作是引入了一个隐含的偏置）。 在全连接层中，由于它们通常位于网络的最后几层，用于生成最终的输出，因此偏置项可以帮助模型学习数据的真实分布，特别是在进行分类任务时。 在全连接层中，kernel_size=1 是因为全连接层没有空间维度，它的输入和输出都是一维的，因此不需要考虑卷积核的大小。 在全连接层中，每个输入神经元都连接到每个输出神经元，因此只需要一个大小为1的卷积核来完成这种全连接的操作。 因此，将 kernel_size=1 是为了明确地指定在全连接操作中使用的卷积核大小，即每个输入神经元和每个输出神经元之间的连接。 ''' self.act = act_layer() self.fc2 = nn.Conv2d(hidden_features, out_features, 1, 1, 0, bias=True) self.drop = nn.Dropout(drop, inplace=True) ''' 通常正则化层应该放在隐藏层的全连接层之后。但在这个例子中，MLP 类使用的是卷积层而不是全连接层。 这里的正则化（nn.Dropout）被应用在卷积层之后，是因为在该模型中，卷积层充当了全连接层的角色。 在卷积神经网络中，尤其是在图像处理任务中，卷积操作可以看作是全连接操作的一种泛化，因此可以在卷积层之后应用正则化，以达到相似的效果。 ''' def forward(self, x): x = self.fc1(x) x = self.act(x) x = self.drop(x) x = self.fc2(x) x = self.drop(x) ''' 最后一个全连接层不跟激活层 最后一层通常会使用softmax激活函数来生成概率分布，而不是在MLP内部使用激活函数。在这种情况下，MLP的输出应该是线性变换，以便在之后的应用softmax函数。 ''' return x ''' 这个类代表了一个全局-局部注意力模块，用于在模型中引入自注意力机制和局部注意力机制。 ''' class GlobalLocalAttention(nn.Module): def __init__(self, dim=256, num_heads=16, qkv_bias=False, window_size=8, relative_pos_embedding=True ): ''' :param dim: #输入和输出的特征维度。 :param num_head: # 注意力头的个数 :param qkv_bias: #Query、Key和Value是否包含偏置 :param window_size: #局部窗口的大小 :param relative_pos_embedding: #是否使用相对位置嵌入。 ''' super().__init__() self.num_heads = num_heads # 初始化注意力头的数量 head_dim = dim // self.num_heads # 计算每个注意力头的特征维度 self.scale = head_dim ** -0.5 # 计算缩放因子，用于注意力计算中的点积。 self.ws = window_size # 初始化局部窗口的大小。 self.qkv = Conv(dim, 3 * dim, kernel_size=1, bias=qkv_bias) # 初始化一个卷积层，用于生成Query、Key和Value。 self.local1 = ConvBN(dim, dim, kernel_size=3) # 初始化第一个卷积层和批量归一化层，用于处理局部特征。 self.local2 = ConvBN(dim, dim, kernel_size=1) # 初始化第二个卷积层和批量归一化层，用于处理局部特征。 self.proj = SeparableConvBN(dim, dim, kernel_size=window_size) # 初始化一个可分离卷积层，用于投影输出。 ''' kernel_size=(x, y) x是水平方向池化是window_size大小的窗口 y垂直方向上的大小是1 这意味着窗口在水平方向上滑动，每个窗口包含window_size个连续的像素，而在垂直方向上只包含一个像素 padding=(window_size//2 - 1, 0): 指定了在窗口移动之前，需要在输入特征图的边缘添加的填充大小。 这里，水平方向上的填充大小是window_size//2 - 1，垂直方向上的填充大小是0。 这样的填充确保了窗口可以完全覆盖输入特征图的所有像素。 ''' self.attn_x = nn.AvgPool2d(kernel_size=(window_size, 1), stride=1, padding=(window_size // 2 - 1, 0)) # 初始化水平方向的平均池化层，用于整合全局信息。 self.attn_y = nn.AvgPool2d(kernel_size=(1, window_size), stride=1, padding=(0, window_size // 2 - 1)) # 初始化垂直方向的平均池化层，用于整合全局信息。 ''' 为什么不这样# self.attn = nn.AvgPool2d(kernel_size=(window_size,window_size), stride=1, padding=(window_size//2-1,window_size//2-1)) 使用两个不同方向的平均池化层，可以分别对输入张量在水平方向和垂直方向上进行池化操作。 这种方法可以更好地保留输入张量的结构信息，因为在某些情况下，水平和垂直方向的信息可能具有不同的重要性。 另一方面，如果使用一个具有相同 kernel 大小的平均池化层，那么在进行池化操作时， 水平和垂直方向上的信息将被同时平均池化，可能会导致丢失一些方向特定的信息。 ''' self.relative_pos_embedding = relative_pos_embedding # 初始化是否使用相对位置嵌入的标志。 if self.relative_pos_embedding: # 如果使用了相对位置嵌入，会定义一个相对位置偏置表 # define a parameter table of relative position bias self.relative_position_bias_table = nn.Parameter( torch.zeros((2 * window_size - 1) * (2 * window_size - 1), num_heads)) # 2*Wh-1 * 2*Ww-1, nH ''' 局部注意力机制通常会限制模型只关注局部区域的信息，而不是整个输入序列或图像。 因此，为了捕获局部区域内不同位置之间的相对关系，需要构建一个相对位置偏置表，以便在计算注意力权重时考虑到这些关系。 相对位置偏置表的形状取决于窗口大小（window_size），因为窗口大小确定了局部区域的大小。 具体来说，假设窗口大小为 N，那么考虑到位置之间的相对关系，就需要构建一个形状为 (2 * N - 1) * (2 * N - 1) 的相对位置偏置表。 这是因为在局部区域内，任意两个位置之间的相对位置偏置范围是 [-N+1, N-1]，共有 2 * N - 1 个不同的相对位置。 `num_heads` 是用于多头自注意力机制的头数。在创建相对位置偏置表时，可能需要为每个注意力头都创建一个相对位置偏置。 因此，`num_heads` 参数用于指定要为每个注意力头创建多少个相对位置偏置。 这样，最终的相对位置偏置表的形状将是 `(2 * window_size - 1) * (2 * window_size - 1) * num_heads`。 ''' # get pair-wise relative position index for each token inside the window # 这一部分是相对位置嵌入的实现，用于在注意力计算中考虑元素之间的相对位置信息。 coords_h = torch.arange(self.ws) # 创建一个包含窗口大小ws内所有水平坐标的张量。 coords_w = torch.arange(self.ws) # 创建一个包含窗口大小ws内所有垂直坐标的张量。 coords = torch.stack(torch.meshgrid([coords_h, coords_w])) # 2, Wh, Ww #使用meshgrid函数创建一个包含所有水平和垂直坐标的张量。 coords_flatten = torch.flatten(coords, 1) # 2, Wh*Ww将三维坐标张量展平为一维张量。 ''' torch.flatten(coords, 1) 的作用是将 coords 张量在第一个维度上扁平化。 因此，如果 coords 张量的形状为 (2, window_size, window_size)，那么扁平化后的形状将是 (2, window_size * window_size)， 这样做是为了将二维坐标的网格展平为一个一维向量，以便后续计算相对坐标 ''' relative_coords = coords_flatten[:, :, None] - coords_flatten[:, None, :] # 2, Wh*Ww, Wh*Ww 计算所有坐标对之间的相对位置，即每个坐标相对于其他所有坐标的差 ''' 在计算坐标之间的相对位置时，需要将坐标扩展为三维的张量，以便进行减法操作。 这是因为在二维张量上进行减法操作会对应元素逐个相减，而我们希望的是对每个坐标点之间进行减法操作，因此需要扩展为三维张量，使得可以对应元素逐个相减。 具体来说，`coords_flatten[:, :, None]` 和 `coords_flatten[:, None, :]` 分别将原始二维坐标张量 `coords_flatten` 扩展为三维张量，使得可以进行逐元素的减法操作。 这样一来，两个三维张量相减，就可以得到每个坐标点之间的相对位置。 举个例子，假设 `coords_flatten` 的形状是 `(2, Wh*Ww)`，那么扩展后的形状就变成了 `(2, Wh*Ww, 1)` 和 `(2, 1, Wh*Ww)`。这样，两个张量相减后，得到的形状仍然是 `(2, Wh*Ww, Wh*Ww)`，表示每个坐标点与其他所有坐标点之间的相对位置。 ''' relative_coords = relative_coords.permute(1, 2, 0).contiguous() ''' .permute(1, 2, 0) 将张量的维度顺序从 (batch_size, WhWw, 2) 调整为 (WhWw, 2, batch_size)，然后 .contiguous() 保证了张量的内存连续性。 Wh*Ww, Wh*Ww, 2重新排列相对坐标张量，使其形状为(Wh*Ww, Wh*Ww, 2)，其中Wh*Ww是窗口的大小。 ''' relative_coords[:, :, 0] += self.ws - 1 # shift to start from 0将相对坐标的第一个维度增加ws - 1，以确保坐标从0开始。 relative_coords[:, :, 1] += self.ws - 1 # 将相对坐标的第二个维度增加ws - 1，以确保坐标从0开始。 relative_coords[:, :, 0] *= 2 * self.ws - 1 # 调整相对坐标的第一个维度，使其范围变为[-2*ws+1, 2*ws-1]。 ''' 我以为是修改了他的坐标值，其实是修改了他的坐标的取值范围 这三行代码的作用是调整相对坐标的取值范围和形状： 1. `relative_coords[:, :, 0] += self.ws - 1` 和 `relative_coords[:, :, 1] += self.ws - 1`： 这两行代码通过加上 `self.ws - 1` 来实现平移操作，将原始相对坐标向右平移和向下平移，从而使原始相对坐标的范围变为 `[0, 2*self.ws - 2]`。 2. `relative_coords[:, :, 0] *= 2*self.ws - 1`：这一行代码对水平方向的相对坐标进行了缩放， 使其范围扩展到 `[0, (2*self.ws - 2)*(2*self.ws - 1)]`。这是因为在原始相对坐标中，水平方向的取值范围为 `[0, 2*self.ws - 2]`， 而在计算相对位置编码时，需要考虑水平和垂直方向上的所有可能组合，因此水平方向上的坐标需要乘以 `2*self.ws - 1`。 这段代码的目的是调整相对坐标的范围和位置，使其适应相对位置偏置矩阵的形状。具体来说： - `relative_coords[:, :, 0] += self.ws - 1`： 将相对坐标中的横向偏移（即第一个坐标值）加上 `self.ws - 1`。 这个操作将所有相对坐标的横向偏移向右移动 `self.ws - 1` 个单位， 以便将相对坐标的范围从 `[0, self.ws - 1]` 调整为 `[-(self.ws - 1), self.ws - 1]`。 - `relative_coords[:, :, 2] += self.ws - 1`： 将相对坐标中的纵向偏移（即第三个坐标值）加上 `self.ws - 1`。 这个操作将所有相对坐标的纵向偏移向下移动 `self.ws - 1` 个单位， 以便将相对坐标的范围从 `[0, self.ws - 1]` 调整为 `[-(self.ws - 1), self.ws - 1]`。 - `relative_coords[:, :, 0] *= 2*self.ws - 1`： 将相对坐标中的横向偏移乘以 `2*self.ws - 1`。 这个操作将调整后的相对坐标的横向偏移从 `[-(self.ws - 1), self.ws - 1]` 映射到 `[0, (2*self.ws - 1)]` 的范围内，以便与相对位置偏置矩阵的形状相匹配。 ''' relative_position_index = relative_coords.sum(-1) # Wh*Ww, Wh*Ww将相对坐标的两个维度合并为一个单一的索引，用于访问相对位置偏置表。 self.register_buffer("relative_position_index", relative_position_index) # 将相对位置索引注册为一个缓冲区，以便在模型训练过程中重复使用。 trunc_normal_(self.relative_position_bias_table, std=.02) # 使用trunc_normal_函数初始化相对位置偏置表，这是一种常用的初始化技术，用于生成服从截断正态分布的参数。 ''' 这段代码的主要目的是创建一个张量，它包含了窗口内所有像素之间的相对位置信息，并将其转换为可以用于注意力计算的格式。 相对位置偏置表将在注意力计算中用于调整注意力权重，以考虑像素之间的相对位置关系 ''' ''' 这两个函数pad和pad_out是用于填充特征图x的辅助函数。它们的作用是在输入特征图的边缘添加特定的填充模式，以确保在执行后续操作时，特征图的尺寸符合要求。 这两个函数的主要作用是在特征图的边缘添加填充，以确保在执行卷积、池化或其他操作时，特征图的尺寸满足特定要求。 在某些情况下，例如在Transformer模型中，填充是为了保持序列的固定长度，以便在注意力计算中进行有效的处理 ''' def pad(self, x, ps): # 定义一个函数，接受一个特征图x和一个填充大小ps作为参数。 _, _, H, W = x.size() # 获取特征图x的形状，并提取高度H和宽度W。 if W % ps != 0: # 如果特征图的宽度W不能被填充大小ps整除，则需要进行填充。 x = F.pad(x, (0, ps - W % ps), mode='reflect') # 使用F.pad函数在特征图的右侧添加填充，填充大小为ps - W % ps，填充模式为'reflect'，这意味着新的像素值将反映原始像素值。 if H % ps != 0: # 如果特征图的高度H不能被填充大小ps整除，则需要进行额外的填充。 x = F.pad(x, (0, 0, 0, ps - H % ps), mode='reflect') # 使用F.pad函数在特征图的下方添加填充，填充大小为ps - H % ps，填充模式为'reflect'。 return x # 返回填充后的特征图。 def pad_out(self, x): # 定义一个函数，接受一个特征图x作为参数。 x = F.pad(x, pad=(0, 1, 0, 1), mode='reflect') # 使用F.pad函数在特征图的右侧和下方添加填充，填充大小为1，填充模式为'reflect'。 return x def forward(self, x): B, C, H, W = x.shape local = self.local2(x) + self.local1(x) # 计算局部特征，通过两个卷积层。 x = self.pad(x, self.ws) # 填充输入特征图以适应窗口大小。 B, C, Hp, Wp = x.shape # 获取填充后的特征图的形状。 qkv = self.qkv(x) # 生成Query、Key和Value。 q, k, v = rearrange(qkv, 'b (qkv h d) (hh ws1) (ww ws2) -> qkv (b hh ww) h (ws1 ws2) d', h=self.num_heads, d=C // self.num_heads, hh=Hp // self.ws, ww=Wp // self.ws, qkv=3, ws1=self.ws, ws2=self.ws) # 重新排列Query、Key和Value以适应注意力机制的计算。 dots = (q @ k.transpose(-2, -1)) * self.scale # 计算点积，并应用缩放因子。 # 如果使用了相对位置嵌入，将相对位置偏置加到点积上。 if self.relative_pos_embedding: # 如果启用了相对位置嵌入 relative_position_bias = self.relative_position_bias_table[self.relative_position_index.view(-1)].view( self.ws * self.ws, self.ws * self.ws, -1) # Wh*Ww,Wh*Ww,nH获取相对位置偏置表，并根据相对位置索引进行调整。 relative_position_bias = relative_position_bias.permute(2, 0, 1).contiguous() # nH, Wh*Ww, Wh*Ww重新排列相对位置偏置，以便与点积的形状匹配 dots += relative_position_bias.unsqueeze(0) # 将相对位置偏置加到点积上。 attn = dots.softmax(dim=-1) # 应用softmax函数计算注意力权重。 attn = attn @ v # 注意力权重应用于Value。 attn = rearrange(attn, '(b hh ww) h (ws1 ws2) d -> b (h d) (hh ws1) (ww ws2)', h=self.num_heads, d=C // self.num_heads, hh=Hp // self.ws, ww=Wp // self.ws, ws1=self.ws, ws2=self.ws) # 重新排列注意力权重，以便与原始输入特征图的形状匹配。 attn = attn[:, :, :H, :W] # 裁剪注意力权重，使其与原始输入特征图的形状匹配。 out = self.attn_x(F.pad(attn, pad=(0, 0, 0, 1), mode='reflect')) + \ self.attn_y(F.pad(attn, pad=(0, 1, 0, 0), mode='reflect')) # 整合全局信息，并通过两个平均池化层self.attn_x和self.attn_y。 out = out + local # 将局部特征与全局特征相加。 out = self.pad_out(out) # 添加额外的填充，以适应输出特征图的尺寸。 out = self.proj(out) # print(out.size()) out = out[:, :, :H, :W] return out ''' 个类代表了UNetFormer模型中的一个解码器块，包括了注意力机制和多层感知器。就是GLTB 随机丢弃通常出现在神经网络的隐藏层之间，可以应用于输入层、隐藏层和输出层。 具体来说，在每次前向传播时，随机丢弃将根据指定的丢弃概率，随机地将一部分神经元的输出置为零， 而在反向传播时，这些被置为零的神经元将不会更新权重。这样做可以使得模型更加健壮，减少过拟合。 在深度神经网络中，随机丢弃通常在隐藏层中使用，用于防止模型过拟合 在 UNetFormer 模型中，随机丢弃操作出现在 Block 类的前向传播过程中， 通过 DropPath 函数实现，从而使模型具有更好的泛化能力。 这个 `Block` 类实现了一个 transformer block，具有全局-局部自注意力机制以及一个多层感知机（MLP）。下面是它的一些关键点： - `dim` 参数指定了输入特征的维度大小。 - `num_heads` 参数定义了自注意力机制中的头数。 - `mlp_ratio` 参数决定了MLP隐藏层维度相对于输入维度的倍数。 - `qkv_bias` 参数指定了是否在注意力机制中使用偏置。 - `drop` 和 `attn_drop` 参数分别控制了输入和注意力权重的 dropout 概率。 - `drop_path` 参数是一个防止过拟合的方法，用于在训练中随机丢弃层的激活值。 - `act_layer` 参数定义了激活函数的类型，这里使用了 ReLU6 激活函数。 - `norm_layer` 参数指定了用于归一化的层类型，这里使用了 BatchNorm2d 归一化。 - `window_size` 参数定义了局部注意力机制中窗口的大小。 在 `forward` 方法中： - 输入特征 `x` 首先经过归一化层 `self.norm1`。 - 然后，通过自注意力机制 `self.attn` 处理，并应用了随机丢弃。 - 将原始输入与处理后的特征相加，这是残差连接的一部分。 - 再次进行残差连接，这次是在通过 MLP `self.mlp` 处理后的结果上。 - 最后，通过归一化层 `self.norm2`，并返回结果。 这个类的主要功能是在输入特征上应用自注意力机制和MLP，并使用残差连接来保留输入的重要信息。 ''' class Block(nn.Module): def __init__(self, dim=256, num_heads=16, mlp_ratio=4., qkv_bias=False, drop=0., attn_drop=0., drop_path=0., act_layer=nn.ReLU6, norm_layer=nn.BatchNorm2d, window_size=8): super().__init__() self.norm1 = norm_layer(dim) self.attn = GlobalLocalAttention(dim, num_heads=num_heads, qkv_bias=qkv_bias, window_size=window_size) self.drop_path = DropPath(drop_path) if drop_path > 0. else nn.Identity() mlp_hidden_dim = int(dim * mlp_ratio) self.mlp = Mlp(in_features=dim, hidden_features=mlp_hidden_dim, out_features=dim, act_layer=act_layer, drop=drop) self.norm2 = norm_layer(dim) def forward(self, x): x = x + self.drop_path(self.attn(self.norm1(x))) x = x + self.drop_path(self.mlp(self.norm2(x))) return x ''' 这个类代表了一个权重融合模块，用于在模型中融合两个特征张量。 eps 通常代表一个非常小的数，例如 1e-8，用于防止除零错误（Division by Zero Error） 或者其他数值计算中的不稳定性。这个小的数通常被称为机器精度（Machine Epsilon）或者数值稳定性参数。 nn.Conv2d 是 PyTorch 提供的内置二维卷积层类，而 Conv 可能是您在特定环境下自定义的卷积层类，具体使用哪种取决于您的需求和上下文。 这个 `WF` 类实现了特征融合的功能。让我来逐步解释整个融合的步骤： 1. **初始化阶段**： - 在初始化阶段，定义了 `pre_conv` 和 `post_conv` 两个卷积层。`pre_conv` 用于对输入特征图 `res` 进行卷积，将其调整为与 `x` 特征图相同的通道数和尺寸；`post_conv` 用于对融合后的特征图进行进一步的处理，通常是添加批归一化和激活函数等操作。 2. **前向传播阶段**： - 在前向传播阶段，首先对输入特征图 `x` 进行上采样操作，将其尺寸放大两倍，采用双线性插值的方式。 - 然后通过激活函数对融合权重进行处理，这里使用了 ReLU 函数对 `weights` 进行激活。 - 接下来，计算融合权重 `fuse_weights`。这里采用了一种归一化的方式，将激活后的权重除以其总和，并添加一个小的 epsilon（eps）以防止分母为零。 - 对输入的两个特征图进行加权融合，其中 `fuse_weights[0]` 和 `fuse_weights[1]` 分别表示两个特征图的权重。`self.pre_conv(res)` 对 `res` 进行卷积操作得到调整后的特征图，然后与上采样后的 `x` 特征图相加，得到融合后的特征图。 - 最后，对融合后的特征图进行 `post_conv` 卷积操作，进一步处理得到最终输出的特征图 `x`。 综上所述，整个融合的步骤包括上采样、激活函数处理权重、权重归一化、加权融合和卷积处理等过程。 ''' class WF(nn.Module): def __init__(self, in_channels=128, decode_channels=128, eps=1e-8): super(WF, self).__init__() self.pre_conv = Conv(in_channels, decode_channels, kernel_size=1) self.weights = nn.Parameter(torch.ones(2, dtype=torch.float32), requires_grad=True) self.eps = eps self.post_conv = ConvBNReLU(decode_channels, decode_channels, kernel_size=3) def forward(self, x, res): x = F.interpolate(x, scale_factor=2, mode='bilinear', align_corners=False) # 这一步通过双线性插值方法对输入的特征图x # F.interpolate 是PyTorch提供的用于进行上采样（或下采样）的函数之一 # 进行上采样，将其尺寸放大两倍。这个过程可以使得特征图的分辨率变为原来的两倍，从而与另一个分辨率较高的特征图进行融合。 # 当align_corners = True时，插值操作会保持输入图像的四个角点与输出图像的四个角点对齐，这意味着原始图像的角点像素值会直接映射到输出图像的角点像素值，从而保持图像的几何形状。 # 当align_corners = False时，插值操作会根据输入和输出的尺寸进行插值计算，但不会保持角点的对齐。这样做可能会导致输出图像的尺寸稍微偏离输入图像的尺寸，但通常会更符合图像处理的一般实践。 weights = nn.ReLU()( self.weights) # nn.ReLU()(self.weights) # 实际上是先创建了一个 ReLU 激活函数的实例 nn.ReLU()，然后将 self.weights 作为参数传入这个实例进行激活操作。这样的写法可以在一行代码中完成对权重的非线性变换，使得代码更加简洁。 fuse_weights = weights / (torch.sum(weights, dim=0) + self.eps) ''' 这一步计算了两个权重参数的归一化比例，确保它们的总和为1。 这样做的目的是将两个特征图融合时的贡献度进行归一化，以便更好地平衡两个特征图之间的重要性。 self.eps 是一个非常小的数，用于防止分母为零的情况。 ''' x = fuse_weights[0] * self.pre_conv(res) + fuse_weights[1] * x ''' 这一步利用计算得到的权重对两个特征图进行加权融合，得到融合后的特征图。 其中，self.pre_conv(res) 是对另一个特征图 res 进行的一次卷积操作，用于调整其通道数使其与 x 匹配。 ''' x = self.post_conv(x) # 最后，对融合后的特征图进行一次卷积操作，以进一步提高特征的表达能力和非线性特性。 return x ''' 这个类代表了特征细化头部模块，用于在模型中对特征进行进一步的细化和增强。 ''' class FeatureRefinementHead(nn.Module): def __init__(self, in_channels=64, decode_channels=64): super().__init__() self.pre_conv = Conv(in_channels, decode_channels, kernel_size=1) self.weights = nn.Parameter(torch.ones(2, dtype=torch.float32), requires_grad=True) self.eps = 1e-8 # "定义了一个可学习的参数 self.weights，它是一个长度为 2 的张量，用于权重融合。同时设定了一个极小值 self.eps，用于数值稳定性。" self.post_conv = ConvBNReLU(decode_channels, decode_channels, kernel_size=3) # 创建了一个卷积 - 批归一化 - ReLU激活的序列self.post_conv，用于对特征进行进一步的处理 self.pa = nn.Sequential( nn.Conv2d(decode_channels, decode_channels, kernel_size=3, padding=1, groups=decode_channels), nn.Sigmoid()) # 创建了一个包含卷积层和Sigmoid激活函数的序列self.pa，用于学习通道间的相关性，并对特征进行逐元素相乘的操作。 self.ca = nn.Sequential(nn.AdaptiveAvgPool2d(1), Conv(decode_channels, decode_channels // 16, kernel_size=1), nn.ReLU6(), Conv(decode_channels // 16, decode_channels, kernel_size=1), nn.Sigmoid()) # 创建了一个通道注意力机制，首先进行全局平均池化，然后经过两个卷积层和一个ReLU6激活函数，最后输出通道注意力系数。 self.shortcut = ConvBN(decode_channels, decode_channels, kernel_size=1) self.proj = SeparableConvBN(decode_channels, decode_channels, kernel_size=3) self.act = nn.ReLU6() ''' 创建了一个残差连接的 shortcut，一个可分离卷积的序列 self.proj，以及 ReLU6 激活函数，用于最终的特征融合和激活操作。 ''' def forward(self, x, res): x = F.interpolate(x, scale_factor=2, mode='bilinear', align_corners=False) # 首先，对输入特征图进行上采样，将其尺寸放大两倍 weights = nn.ReLU()(self.weights) # 通过ReLU激活函数，将权重参数转换为非负数。 fuse_weights = weights / (torch.sum(weights, dim=0) + self.eps) # 计算两个权重参数的归一化系数，用于加权融合两个特征图。 x = fuse_weights[0] * self.pre_conv(res) + fuse_weights[1] * x ''' fuse_weights[0] 和 fuse_weights[1] 是由两个权重参数组成的张量，它们的和为 1，用于控制两个特征图在融合过程中的权重比例。 self.pre_conv(res) 和 x 分别表示两个输入的特征图，通过乘以权重参数，实现了对两个特征图进行加权融合。 这两个特征图在融合之前分别经过了一个 1x1 的卷积操作，这是为了确保它们的通道数相同，从而可以进行加权融合。 这样做的目的是为了增加模型的灵活性和表达能力，可以学习到更丰富的特征表示。 ''' # 使用归一化后的权重参数，对两个特征图进行加权融合。 x = self.post_conv(x) # 将加权融合后的特征图通过卷积层self.post_conv进行进一步处理。 shortcut = self.shortcut(x) # 计算残差连接的shortcut pa = self.pa(x) * x ca = self.ca(x) * x ''' 通过通道相关性学习序列 self.pa 和通道注意力机制序列 self.ca，分别对特征图进行处理 ''' x = pa + ca # 将通道相关性处理后的特征图和通道注意力机制处理后的特征图相加 x = self.proj(x) + shortcut x = self.act(x) ''' 将相加后的特征图与残差连接的 shortcut 相加，并通过 ReLU6 激活函数得到最终的输出。 ''' return x ''' 这个类代表了一个辅助头部，用于在模型中额外预测中间结果。 `AuxHead` 类是一个辅助头部，用于在模型中额外预测中间结果。在一些深度学习模型中， 特别是在图像分割任务中，为了更好地利用网络的中间表示，提升模型性能，会在网络的不同层级添加辅助头部来进行预测。 这些辅助头部通常用于提供额外的监督信号，有助于减轻梯度消失、加速训练、提升模型泛化能力等。 具体来说，`AuxHead` 类通常具有以下功能： 1. 使用卷积操作对输入特征图进行特征提取和转换。 2. 可选地应用一些非线性激活函数，如 ReLU、ReLU6 等。 3. 可以使用 Dropout 层对特征图进行随机丢弃，以防止过拟合。 4. 最后使用一个卷积层对提取后的特征图进行分类或分割预测。 总的来说，`AuxHead` 类的作用是在模型中添加一个辅助的预测头部，用于在训练过程中额外预测中间结果，并且可以通过这些中间结果提供额外的监督信号来帮助模型训练。 ''' class AuxHead(nn.Module): def __init__(self, in_channels=64, num_classes=8): super().__init__() self.conv = ConvBNReLU(in_channels, in_channels) self.drop = nn.Dropout(0.1) self.conv_out = Conv(in_channels, num_classes, kernel_size=1) def forward(self, x, h, w): feat = self.conv(x) feat = self.drop(feat) feat = self.conv_out(feat) feat = F.interpolate(feat, size=(h, w), mode='bilinear', align_corners=False) return feat ''' 这个类代表了UNetFormer模型的解码器部分，包括了特征解码、细化和分割等操作。 这个 `Decoder` 类的作用是实现UNetFormer模型的解码器部分，负责将编码器（backbone）提取到的特征进行解码和重建，最终得到图像分割的预测结果。 下面来解释一下这个类的主要组成部分和功能： - **初始化方法 (`__init__`)：** - 接受一系列参数，包括编码器的通道数 `encoder_channels`、解码器的通道数 `decode_channels`、Dropout 概率 `dropout`、窗口大小 `window_size` 和目标类别数 `num_classes`。 - 初始化解码器的各个模块和层： - `pre_conv`：一个 1x1 的卷积层，用于将编码器的最后一个特征图通道数调整为解码器期望的通道数。 - `b4`、`b3`、`b2`：分别表示解码器的第四、第三和第二个模块，每个模块都是一个 `Block` 类型的实例，用于进行特征提取和增强。 - `p3`、`p2`：分别表示解码器的第三和第二个特征解码模块，每个模块都是一个 `WF` 类型的实例，用于对特征进行解码和上采样。 - `up4`、`up3`：上采样层，用于对特征进行上采样，使其尺寸与原始图像尺寸相匹配。 - `aux_head`：辅助头部，用于在训练过程中预测中间结果，提供额外的监督信号。 - `p1`：特征细化头部，用于进一步细化和增强特征。 - `segmentation_head`：分割头部，用于生成最终的图像分割预测结果。 - 调用 `init_weight` 方法初始化模型参数。 - **前向传播方法 (`forward`)：** - 在训练阶段，通过 `res1`、`res2`、`res3`、`res4` 四个编码器提取的特征，依次经过解码器的各个模块和层，最终得到图像分割的预测结果 `x` 和辅助预测结果 `ah`。 - 在测试阶段，只返回图像分割的预测结果 `x`。 - 具体过程包括： - 对输入特征 `res4` 进行预处理，然后经过第四个解码器模块 `b4`，并通过上采样层 `up4` 进行上采样，得到 `h4`。 - 对 `h4` 经过第三个特征解码模块 `p3`，然后经过第三个解码器模块 `b3`。 - 对 `b3` 的输出进行类似的处理，得到 `h3`。 - 对 `h3` 经过第二个特征解码模块 `p2`，然后经过第二个解码器模块 `b2`。 - 对 `b2` 的输出进行类似的处理，得到 `h2`。 - 对 `h2` 经过第一个特征解码模块 `p1`，得到最终的特征表示。 - 对最终特征表示经过分割头部 `segmentation_head`，得到图像分割的预测结果 `x`。 - 如果是训练阶段，同时对 `h4`、`h3` 和 `h2` 经过辅助头部 `aux_head`，得到辅助预测结果 `ah`。 - 最后，通过插值操作将预测结果的尺寸调整为 ''' class Decoder(nn.Module): def __init__(self, encoder_channels=(64, 128, 256, 512), decode_channels=64, dropout=0.1, window_size=8, num_classes=6): super(Decoder, self).__init__() self.pre_conv = ConvBN(encoder_channels[-1], decode_channels, kernel_size=1) # 一个1x1 的卷积层，用于将编码器的最后一个特征图通道数调整为解码器期望的通道数。/ self.b4 = Block(dim=decode_channels, num_heads=8, window_size=window_size) # 那三个GLTB模块 ''' b4、b3、b2：分别表示解码器的第四、第三和第二个模块，每个模块都是一个 Block 类型的实例，用于进行特征提取和增强。 ''' self.b3 = Block(dim=decode_channels, num_heads=8, window_size=window_size) self.p3 = WF(encoder_channels[-2], decode_channels) # 三个WS模块 ''' p3、p2：分别表示解码器的第三和第二个特征解码模块，每个模块都是一个 WF 类型的实例，用于对特征进行解码和上采样。 ''' self.b2 = Block(dim=decode_channels, num_heads=8, window_size=window_size) self.p2 = WF(encoder_channels[-3], decode_channels) if self.training: self.up4 = nn.UpsamplingBilinear2d(scale_factor=4) self.up3 = nn.UpsamplingBilinear2d(scale_factor=2) ''' up4、up3：上采样层，用于对特征进行上采样，使其尺寸与原始图像尺寸相匹配。 ''' self.aux_head = AuxHead(decode_channels, num_classes) ''' aux_head：辅助头部，用于在训练过程中预测中间结果，提供额外的监督信号。 ''' self.p1 = FeatureRefinementHead(encoder_channels[-4], decode_channels) # p1：特征细化头部，用于进一步细化和增强特征。 self.segmentation_head = nn.Sequential(ConvBNReLU(decode_channels, decode_channels), nn.Dropout2d(p=dropout, inplace=True), Conv(decode_channels, num_classes, kernel_size=1)) # segmentation_head：分割头部，用于生成最终的图像分割预测结果。 self.init_weight() # 调用init_weight方法初始化模型参数。 def forward(self, res1, res2, res3, res4, h, w): if self.training == True: x = self.b4(self.pre_conv(res4)) h4 = self.up4(x) x = self.p3(x, res3) x = self.b3(x) h3 = self.up3(x) x = self.p2(x, res2) x = self.b2(x) h2 = x x = self.p1(x, res1) x = self.segmentation_head(x) x = F.interpolate(x, size=(h, w), mode='bilinear', align_corners=False) ah = h4 + h3 + h2 ah = self.aux_head(ah, h, w) return x, ah else: x = self.b4(self.pre_conv(res4)) x = self.p3(x, res3) x = self.b3(x) x = self.p2(x, res2) x = self.b2(x) x = self.p1(x, res1) x = self.segmentation_head(x) x = F.interpolate(x, size=(h, w), mode='bilinear', align_corners=False) return x def init_weight(self): for m in self.children(): if isinstance(m, nn.Conv2d): nn.init.kaiming_normal_(m.weight, a=1) if m.bias is not None: nn.init.constant_(m.bias, 0) ''' 这个类代表了整个UNetFormer模型，包括了编码器（backbone）和解码器，用于图像分割任务。 这段代码实现了一个 UNetFormer 模型，它包含一个 backbone（主干网络）和一个 decoder（解码器）。 - `UNetFormer` 类的 `__init__` 方法中： - `backbone_name` 参数指定了所使用的主干网络的名称。 - `pretrained` 参数指定是否加载预训练的权重。 - `window_size` 参数用于控制 UNetFormer 模型中的窗口大小。 - `num_classes` 参数指定了输出的类别数量。 - 创建了一个 backbone，通过 timm 库根据指定的名称创建指定的预训练主干网络，仅提取特征部分并输出到指定层级（out_indices=(1, 2, 3, 4)），并且可以选择是否加载预训练的权重。 - 定义了一个解码器 `Decoder`，传入了主干网络提取的特征通道数、解码器的参数等。 - `UNetFormer` 类的 `forward` 方法中： - 输入 `x` 通过 backbone 得到了四个特征层 `res1, res2, res3, res4`。 - 如果处于训练阶段，则调用解码器的 `forward` 方法得到图像分割预测结果 `x` 和辅助预测结果 `ah`，并返回这两个结果。 - 如果处于测试阶段，则只调用解码器的 `forward` 方法得到图像分割预测结果 `x`，并返回这个结果。 这样设计的好处是，在训练阶段可以同时获得主网络的输出和辅助预测结果，以提供额外的监督信号，帮助模型学习。而在测试阶段，只需要生成最终的图像分割预测结果即可。 ''' class FuseDisNet(nn.Module): def __init__(self, decode_channels=64, dropout=0.1, backbone_name='swsl_resnet18', pretrained=True, window_size=8, num_classes=6 ): super().__init__() self.backbone = timm.create_model(backbone_name, features_only=True, output_stride=32, out_indices=(1, 2, 3, 4), pretrained=pretrained) ''' 创建了一个 backbone，通过 timm 库根据指定的名称创建指定的预训练主干网络， 仅提取特征部分并输出到指定层级（out_indices=(1, 2, 3, 4)），并且可以选择是否加载预训练的权重。 ''' encoder_channels = self.backbone.feature_info.channels() self.decoder = Decoder(encoder_channels, decode_channels, dropout, window_size, num_classes) # 定义了一个解码器Decoder，传入了主干网络提取的特征通道数、解码器的参数等。 def forward(self, x): h, w = x.size()[-2:] ''' 这行代码是在获取输入张量 `x` 的高度和宽度。 在 PyTorch 中，张量的维度通常是 `(batch_size, channels, height, width)`， 所以 `x.size()` 返回张量的大小，`[-2:]` 表示从倒数第二个维度开始到最后一个维度， 即高度和宽度。这样，`h` 和 `w` 就分别表示了输入张量 `x` 的高度和宽度。 ''' res1, res2, res3, res4 = self.backbone(x) if self.training: x, ah = self.decoder(res1, res2, res3, res4, h, w) return x, ah else: x = self.decoder(res1, res2, res3, res4, h, w) return x