如何做网站平台采购需求网站建设

如何做网站平台,采购需求网站建设,开发软件怎么开发,个人缴纳养老保险预训练模型 疏锦行 我们之前在训练中发现#xff0c;准确率最开始随着epoch的增加而增加。随着循环的更新#xff0c;参数在不断发生更新。 所以参数的初始值对训练结果有很大的影响#xff1a; 如果最开始的初始值比较好#xff0c;后续训练轮数就会少很多很有可能陷入…预训练模型疏锦行我们之前在训练中发现准确率最开始随着epoch的增加而增加。随着循环的更新参数在不断发生更新。所以参数的初始值对训练结果有很大的影响如果最开始的初始值比较好后续训练轮数就会少很多很有可能陷入局部最优值不同的初始值可能导致陷入不同的局部最优值所以很自然的想到如果最开始能有比较好的参数即可能导致未来训练次数少也可能导致未来训练避免陷入局部最优解的问题。这就引入了一个概念即预训练模型。如果别人在某些和我们目标数据类似的大规模数据集上做过训练我们可以用他的训练参数来初始化我们的模型这样我们的模型就比较容易收敛。为了帮助你们理解这里提出几个自问自答的问题。那为什么要选择类似任务的数据集预训练的模型参数呢因为任务差不多他提取特征的能力才有用如果任务相差太大他的特征提取能力就没那么好。所以本质预训练就是拿别人已经具备的通用特征提取能力来接着强化能力使之更加适应我们的数据集和任务。为什么要求预训练模型是在大规模数据集上训练的小规模不行么因为提取的是通用特征所以如果数据集数据少、尺寸小就很难支撑复杂任务学习通用的数据特征。比如你是一个物理的博士让你去做小学数学题很快就能上手但是你是一个小学数学速算高手让你做物理博士的课题就很困难。所以预训练模型一般就挺强的。我们把用预训练模型的参数然后接着在自己数据集上训练来调整该参数的过程叫做微调这种思想叫做迁移学习。把预训练的过程叫做上游任务把微调的过程叫做下游任务。现在再来看下之前一直用的cifar10数据集他是不是就很明显不适合作为预训练数据集规模过小仅 10 万张图像且尺寸小32x32无法支撑复杂模型学习通用视觉特征类别单一仅 10 类飞机、汽车等泛化能力有限这里给大家介绍一个常常用来做预训练的数据集ImageNetImageNet 1000 个类别有 1.2 亿张图像尺寸 224x224数据集大小 1.4G下载地址http://www.image-net.org/。模型预训练数据集核心特点在CIFAR10上的适配要点AlexNetImageNet首次引入ReLU/局部响应归一化参数量6000万需修改首层卷积核大小原11x11→适配32x32VGG16ImageNet纯卷积堆叠结构统一参数量1.38亿冻结前10层卷积仅微调全连接层ResNet18ImageNet残差连接解决梯度消失参数量1100万直接适配32x32输入需调整池化层步长MobileNetV2ImageNet深度可分离卷积参数量350万轻量级设计适合计算资源有限的场景Transformer类预训练模型适用于较大尺图像如224x224在CIFAR10上需上采样图像尺寸或调整Patch大小。模型预训练数据集核心特点在CIFAR10上的适配要点ViT-BaseImageNet-21K纯Transformer架构参数量8600万图像Resize至224x224Patch大小设为4x4Swin TransformerImageNet-22K分层窗口注意力参数量8000万需调整窗口大小适配小图像DeiTImageNet结合CNN归纳偏置参数量2200万轻量级Transformer适合中小尺寸图像自监督预训练模型无需人工标注通过 pretext task如掩码图像重建学习特征适合数据稀缺场景。模型预训练方式典型数据集在CIFAR10上的优势MoCo v3对比学习ImageNet无需标签即可迁移适合无标注数据BEiT掩码图像建模ImageNet-22K特征语义丰富微调时收敛更快模型年份提出团队关键创新点层数参数量ImageNet Top-5错误率典型应用场景预训练权重可用性LeNet-51998Yann LeCun等首个CNN架构卷积层池化层全连接层Sigmoid激活函数7~60KN/A手写数字识别MNIST无历史模型AlexNet2012Alex Krizhevsky等ReLU激活函数、Dropout、数据增强、GPU训练860M15.3%大规模图像分类PyTorch/TensorFlow官方支持VGGNet2014Oxford VGG团队统一3×3卷积核、多尺度特征提取、结构简洁16/19138M/144M7.3%/7.0%图像分类、目标检测基础骨干网络PyTorch/TensorFlow官方支持GoogLeNet2014GoogleInception模块多分支并行卷积、1×1卷积降维、全局平均池化225M6.7%大规模图像分类PyTorch/TensorFlow官方支持ResNet2015何恺明等残差连接解决梯度消失、Batch Normalization18/50/15211M/25M/60M3.57%/3.63%/3.58%图像/视频分类、检测、分割PyTorch/TensorFlow官方支持DenseNet2017Gao Huang等密集连接每层与后续所有层相连、特征复用、参数效率高121/1698M/14M2.80%小数据集、医学图像处理PyTorch/TensorFlow官方支持MobileNet2017Google深度可分离卷积减少75%计算量、轻量级设计284.2M7.4%移动端图像分类/检测PyTorch/TensorFlow官方支持EfficientNet2019Google复合缩放同时优化深度、宽度、分辨率、NAS搜索最佳配置B0-B75.3M-66M2.6% (B7)高精度图像分类资源受限场景PyTorch/TensorFlow官方支持上图的层数代表该模型不同的版本resnet有resnet18、resnet50、resnet152efficientnet有efficientnet-b0、efficientnet-b1、efficientnet-b2、efficientnet-b3、efficientnet-b4等其中ImageNet Top - 5 准确率是图像分类任务里的一种评估指标 用于衡量模型在 ImageNet 数据集上的分类性能模型对图像进行分类预测输出所有类别共 1000 类 的概率取概率排名前五的类别只要这五个类别里包含人工标注的正确类别就算预测正确。模型架构演进关键点总结深度突破从LeNet的7层到ResNet152的152层残差连接解决了深度网络的训练难题。 ----没上过我复试班cv部分的自行去了解下什么叫做残差连接很重要计算效率GoogLeNetInception和MobileNet通过结构优化在保持精度的同时大幅降低参数量。特征复用DenseNet的密集连接设计使模型能更好地利用浅层特征适合小数据集。自动化设计EfficientNet使用神经架构搜索NAS自动寻找最优网络配置开创了AutoML在CNN中的应用。预训练模型使用建议任务需求推荐模型理由快速原型开发ResNet50/18结构平衡预训练权重稳定社区支持完善移动端部署MobileNetV3参数量小计算高效专为移动设备优化高精度分类资源充足EfficientNet-B7目前ImageNet准确率领先适合GPU/TPU环境小数据集或特征复用需求DenseNet密集连接设计减少过拟合特征复用能力强多尺度特征提取Inception-ResNet结合Inception多分支和ResNet残差连接适合复杂场景这些模型的预训练权重均可通过主流框架如PyTorch的torchvision.models、Keras的applications模块直接加载便于快速迁移到新任务。