司法局门户网站建设该报告服装私人订制网站

司法局门户网站建设该报告,服装私人订制网站,直播教育网站建设,淘宝网站打算找人做一、注意力 注意力机制是一种让模型学会「选择性关注重要信息」的特征提取器#xff0c;就像人类视觉会自动忽略背景#xff0c;聚焦于图片中的主体#xff08;如猫、汽车#xff09;。 transformer中的叫做自注意力机制#xff0c;他是一种自己学习自己的机制#xff0c…一、注意力注意力机制是一种让模型学会「选择性关注重要信息」的特征提取器就像人类视觉会自动忽略背景聚焦于图片中的主体如猫、汽车。transformer中的叫做自注意力机制他是一种自己学习自己的机制他可以自动学习到图片中的主体并忽略背景。我们现在说的很多模块比如通道注意力、空间注意力、通道注意力等等都是基于自注意力机制的。从数学角度看注意力机制是对输入特征进行加权求和输出∑(输入特征×注意力权重)其中注意力权重是学习到的。所以他和卷积很像因为卷积也是一种加权求和。但是卷积是 “固定权重” 的特征提取如 3x3 卷积核--训练完了就结束了注意力是 “动态权重” 的特征提取权重随输入数据变化---输入数据不同权重不同。问为什么需要多种注意力模块答因为不同场景下的关键信息分布不同。例如识别鸟类和飞机时需关注 “羽毛纹理”“金属光泽” 等特定通道的特征通道注意力可强化关键通道而物体位置不确定时如猫出现在图像不同位置空间注意力能聚焦物体所在区域忽略背景。复杂场景中可能需要同时关注通道和空间如混合注意力模块 CBAM或处理长距离依赖如全局注意力模块 Non-local。问为什么不设计一个‘万能’注意力模块答主要受效率和灵活性限制。专用模块针对特定需求优化计算成本更低如通道注意力仅需处理通道维度无需全局位置计算不同任务的核心需求差异大如医学图像侧重空间定位自然语言处理侧重语义长距离依赖通用模块可能冗余或低效。每个模块新增的权重会增加模型参数量若训练数据不足或优化不当可能引发过拟合。因此实际应用中需结合轻量化设计如减少全连接层参数、正则化如 Dropout或结构约束如共享注意力权重来平衡性能与复杂度。通道注意力Channel Attention属于注意力机制Attention Mechanism的变体而非自注意力Self-Attention的直接变体。可以理解为注意力是一个动物园算法里面很多个物种自注意力只是一个分支因为开创了transformer所以备受瞩目。常见注意力模块的归类如下注意力模块所属类别核心功能自注意力Self-Attention自注意力变体建模同一输入内部元素的依赖如序列位置、图像块通道注意力Channel Attention普通注意力变体全局上下文建模特征图通道间的重要性通过全局池化压缩空间信息空间注意力Spatial Attention普通注意力变体全局上下文建模特征图空间位置的重要性关注“哪里”更重要多头注意力Multi-Head Attention自注意力/普通注意力的增强版将query/key/value投影到多个子空间捕捉多维度依赖编码器-解码器注意力Encoder-Decoder Attention普通注意力变体建模编码器输出与解码器输入的跨模态交互如机器翻译中句子与译文的对齐二、通道注意力想要把通道注意力插入到模型中关键步骤如下1定义注意力模块2重写之前的模型定义部分确定好模块插入的位置1.通道注意力的定义# 新增通道注意力模块SE模块 class ChannelAttention(nn.Module): 通道注意力模块(Squeeze-and-Excitation) def __init__(self, in_channels, reduction_ratio16): 参数: in_channels: 输入特征图的通道数 reduction_ratio: 降维比例用于减少参数量 super(ChannelAttention, self).__init__() # 全局平均池化 - 将空间维度压缩为1x1保留通道信息 self.avg_pool nn.AdaptiveAvgPool2d(1) # 全连接层 激活函数用于学习通道间的依赖关系 self.fc nn.Sequential( # 降维压缩通道数减少计算量 nn.Linear(in_channels, in_channels // reduction_ratio, biasFalse), nn.ReLU(inplaceTrue), # 升维恢复原始通道数 nn.Linear(in_channels // reduction_ratio, in_channels, biasFalse), # Sigmoid将输出值归一化到[0,1]表示通道重要性权重 nn.Sigmoid() ) def forward(self, x): 参数: x: 输入特征图形状为 [batch_size, channels, height, width] 返回: 加权后的特征图形状不变 batch_size, channels, height, width x.size() # 1. 全局平均池化[batch_size, channels, height, width] → [batch_size, channels, 1, 1] avg_pool_output self.avg_pool(x) # 2. 展平为一维向量[batch_size, channels, 1, 1] → [batch_size, channels] avg_pool_output avg_pool_output.view(batch_size, channels) # 3. 通过全连接层学习通道权重[batch_size, channels] → [batch_size, channels] channel_weights self.fc(avg_pool_output) # 4. 重塑为二维张量[batch_size, channels] → [batch_size, channels, 1, 1] channel_weights channel_weights.view(batch_size, channels, 1, 1) # 5. 将权重应用到原始特征图上逐通道相乘 return x * channel_weights # 输出形状[batch_size, channels, height, width]通道注意力模块的核心原理1Squeeze压缩- 通过全局平均池化将每个通道的二维特征图H×W压缩为一个标量保留通道的全局信息。- 物理意义计算每个通道在整个图像中的 “平均响应强度”例如“边缘检测通道” 在有物体边缘的图像中响应值会更高。2Excitation激发- 通过全连接层Sigmoid激活学习通道间的依赖关系输出0-1之间的权重值。- 物理意义让模型自动判断哪些通道更重要权重接近 1哪些通道可忽略权重接近 0。3Reweight重加权- 将学习到的通道权重与原始特征图逐通道相乘增强重要通道抑制不重要通道。- 物理意义类似人类视觉系统聚焦于关键特征如猫的轮廓忽略无关特征如背景颜色通道注意力插入后参数量略微提高增加了特征提取能力2.模型的重新定义通道注意力的插入class CNN(nn.Module): def __init__(self): super(CNN, self).__init__() # ---------------------- 第一个卷积块 ---------------------- self.conv1 nn.Conv2d(3, 32, 3, padding1) self.bn1 nn.BatchNorm2d(32) self.relu1 nn.ReLU() # 新增插入通道注意力模块SE模块 self.ca1 ChannelAttention(in_channels32, reduction_ratio16) self.pool1 nn.MaxPool2d(2, 2) # ---------------------- 第二个卷积块 ---------------------- self.conv2 nn.Conv2d(32, 64, 3, padding1) self.bn2 nn.BatchNorm2d(64) self.relu2 nn.ReLU() # 新增插入通道注意力模块SE模块 self.ca2 ChannelAttention(in_channels64, reduction_ratio16) self.pool2 nn.MaxPool2d(2) # ---------------------- 第三个卷积块 ---------------------- self.conv3 nn.Conv2d(64, 128, 3, padding1) self.bn3 nn.BatchNorm2d(128) self.relu3 nn.ReLU() # 新增插入通道注意力模块SE模块 self.ca3 ChannelAttention(in_channels128, reduction_ratio16) self.pool3 nn.MaxPool2d(2) # ---------------------- 全连接层分类器 ---------------------- self.fc1 nn.Linear(128 * 4 * 4, 512) self.dropout nn.Dropout(p0.5) self.fc2 nn.Linear(512, 10) def forward(self, x): # ---------- 卷积块1处理 ---------- x self.conv1(x) x self.bn1(x) x self.relu1(x) x self.ca1(x) # 应用通道注意力 x self.pool1(x) # ---------- 卷积块2处理 ---------- x self.conv2(x) x self.bn2(x) x self.relu2(x) x self.ca2(x) # 应用通道注意力 x self.pool2(x) # ---------- 卷积块3处理 ---------- x self.conv3(x) x self.bn3(x) x self.relu3(x) x self.ca3(x) # 应用通道注意力 x self.pool3(x) # ---------- 展平与全连接层 ---------- x x.view(-1, 128 * 4 * 4) x self.fc1(x) x self.relu3(x) x self.dropout(x) x self.fc2(x) return x # 重新初始化模型包含通道注意力模块 model CNN() model model.to(device) # 将模型移至GPU如果可用 criterion nn.CrossEntropyLoss() # 交叉熵损失函数 optimizer optim.Adam(model.parameters(), lr0.001) # Adam优化器 # 引入学习率调度器在训练过程中动态调整学习率--训练初期使用较大的 LR 快速降低损失训练后期使用较小的 LR 更精细地逼近全局最优解。 # 在每个 epoch 结束后需要手动调用调度器来更新学习率可以在训练过程中调用 scheduler.step() scheduler optim.lr_scheduler.ReduceLROnPlateau( optimizer, # 指定要控制的优化器这里是Adam modemin, # 监测的指标是最小化如损失函数 patience3, # 如果连续3个epoch指标没有改善才降低LR factor0.5 # 降低LR的比例新LR 旧LR × 0.5 ) # 训练模型复用原有的train函数 print(开始训练带通道注意力的CNN模型...) final_accuracy train(model, train_loader, test_loader, criterion, optimizer, scheduler, device, epochs50) print(f训练完成最终测试准确率: {final_accuracy:.2f}%)浙大疏锦行