浦东新区建设工程安全质量监督站网站禁止wordpress获取隐私

浦东新区建设工程安全质量监督站网站,禁止wordpress获取隐私,wordpress空间 腾讯,php网站开发 知乎CLIP很强#xff0c;但它也有“贵族病”#xff1a;训练成本高得让人望而却步#xff0c;动辄上千GPU天的算力让无数团队只能仰望。 直到SigLIP横空出世。 它用一个简单到近乎“暴力”的思想——Sigmoid Loss#xff0c;把CLIP那套繁琐的InfoNCE损失彻底抛弃#xff0c;…CLIP很强但它也有“贵族病”训练成本高得让人望而却步动辄上千GPU天的算力让无数团队只能仰望。直到SigLIP横空出世。它用一个简单到近乎“暴力”的思想——Sigmoid Loss把CLIP那套繁琐的InfoNCE损失彻底抛弃训练效率直接起飞同样的效果算力成本却能砍掉数倍甚至一个数量级。更重要的是它把跨模态对齐的门槛从“天价”拉到了“人人都能玩”。CLIP开创了跨模态对齐的时代而SigLIP则让这个时代真正变得成本可控、触手可及。今天本文就带你彻底拆开看SigLIP到底是怎么用一招“Sigmoid”就把CLIP打得落花流水的一、CLIP方法回顾[CLIPContrastive Language-Image Pretraining通过一个非常优雅但计算量巨大的InfoNCE对比损失来训练图像编码器和文本编码器使匹配的正例图文对相似度最高非匹配的负例相似度最低。1.CLIP概述图 1 总结了CLIP这种方法背后的关键概念。我们有一个文本嵌入和一个对应的图像嵌入它们应该代表相同的概念在这个例子中是“靠近运河的风车”。 通常训练数据量是巨大的例如 CLIP 就是在 4 亿个文本-图像对上训练的。在训练过程中CLIP 的作者使用了 32K 对图像-文本对的批大小batch size。在我们的示例中我们仅使用 4 的批大小。因此我们得到一个 的相似性矩阵。正如在 [CLIP]论文中所述目标是增加正样本对此处为绿色之间的相似性并降低负样本对之间的相似性。图1CLIP示例2.CLIP损失函数计算相似度计算训练的关键是计算一个批次内所有文本和图像对之间的相似度得分通常将这些得分组织成一个矩阵如 图2 所示。矩阵的行代表批次中的所有图像例如 到列代表批次中的所有文本例如 到 。对角线元素例如 是正向对即它们是相互匹配的文本和图像。非对角线元素例如 是负向对即它们是不匹配的文本和图像。损失函数CLIP 使用对称的交叉熵损失(Cross-Entropy Loss)来鼓励正向对的相似度高于所有负向对。损失的计算是双向的A. 图像到文本的损失 (Image-to-Text Loss):这部分损失是针对相似度矩阵的行进行 Softmax 归一化即对所有文本进行 Softmax目标是最大化图像 与其匹配文本 的概率。B. 文本到图像的损失 (Text-to-Image Loss):这部分损失是针对相似度矩阵的列进行 Softmax 归一化即对所有图像进行 Softmax目标是最大化文本 与其匹配图像 的概率。总损失 是上面两部分的平均值总损失公式计算成本问题CLIP 成功的关键在于使用了极大的批次大小 (Batch Size)原论文中达到了 32K 对文本-图像对。这意味着相似度矩阵是一个 的巨大矩阵。这个庞大的矩阵计算使得 CLIP 模型在计算上非常昂贵需要大量的 GPU 资源。图2CLIP的损失计算示例损失函数了解较少的读者可以先读[你真的懂深度学习怎么训练的吗一文让你搞懂四个关键步骤]二、SigLIPSigLIP 是对比式 CLIP 图像编码器的一个改进版本。与 CLIP 类似SIGLIP 的目标也是拥有一个能将文本和图像映射到同一个共享嵌入空间的模型。1.SigLIP 损失函数的改进从 Softmax 到 SigmoidSIGLIP 模型的作者旨在改进 CLIP 中损失矩阵计算所涉及的巨大计算开销。在 CLIP 中使用的是基于 Softmax 的损失函数它需要比较每个嵌入向量的整行或整列即需要一个全局视图。与此不同SIGLIP 仅通过使用基于 Sigmoid 的损失函数实现了只比较每一对单独的嵌入对。这种方法避免了对当前批次数据的全局依赖从而降低了计算复杂度。SigLIP 损失计算步骤SigLIP 损失的计算过程可以分为以下四个主要步骤如图3初始相似度矩阵 (S)我们首先计算所有图像-文本对之间的余弦相似度得到一个包含所有相似度值的矩阵 S。矩阵缩放Scaled Logits作者通过使用 logit_scale 和 logit_bias 这两个可学习参数对相似度矩阵进行缩放。其中通过将 Logits 乘以 进行缩放可以使概率分布更尖锐帮助模型在训练过程中对其正确预测更有信心logit_bias 用来调整“分界点”让 logits 对正负更加区分化创建标签矩阵Label Matrix创建的标签矩阵本质上是将缩放后的 Logits 对角线上的元素乘以 1.0非对角线上的元素乘以 -1.0。目标对于正样本对对角线使 Logit 尽可能地高且为正对于负样本对非对角线使 Logit 尽可能地低且为负。计算 Log-Sigmoid 损失将缩放后的 Logits 矩阵与标签矩阵相乘后我们将其输入到 log_sigmoid 损失函数中。Sigmoid 损失的理解使用 log_sigmoid 损失我们不需要对当前批次有一个全局的视图。相反我们只计算单个对的损失例如 和 在本例中为 -11.5或 和 在本例中为 -7.7。 损失值代表什么以 为例初始向量相似度为 -0.54表明两者完全不匹配。然而它们属于同一对 是 的正确描述理应匹配。模型的目标是使 signed_logits 矩阵中的每个值都尽可能地大且为正。对于 产生的较大的负数-7.71与模型目标相反表明该对被错误预测。正确预测的正样本对如 或负样本对如 其对数似然Log-Likelihood接近 0因此贡献的损失较低。错误预测的正样本对如 或负样本对如 其对数似然是一个较大的负数因此贡献的损失较高。图3SigLIP损失计算示例signed_logits label_matrix * logits_per_textdef logsigmoid(x): return -np.log(1 np.exp(-x))log_likelihoods logsigmoid(signed_logits)# The axis1 argument sums across the columns (for each row)nll_per_text -np.sum(log_likelihoods, axis1)与 CLIP 的对比与损失函数分析与 CLIP 不同我们没有一个双向损失我们可以简单地将每个单独的 对数似然log_likelihood 沿列求和然后取平均值来得到最终损失。图 4 说明了对数似然的损失只能是 0 或一个负数。大的负数表明该特定的文本-图像组合是错误匹配(1) 意味着一个正样本的相似度很低(2) 或者意味着一个负样本的相似度很高。图4log sigmoid函数优化的目标是让对数似然矩阵中的每个数字都接近 0label_matrix标签矩阵巧妙地根据样本对是否匹配改变了实现该目标的方式。案例分析案例 A匹配对例如T2 和 I2标签 1相似度Similarity-0.54数学要求 scaled_logit * (1) 必须是正数。所需操作 模型必须使 scaled_logit以及余弦相似度为正数。T2/I2 的当前现实 scaled_logit 是 -7.7。结果 signed_logit 是 -7.7。损失Loss很高。更新 优化器将调整权重使 T2 和 I2 的嵌入embeddings下次更相似。案例 B不匹配对例如T1 和 I2标签 -1相似度Similarity-0.77数学要求 scaled_logit * (-1) 必须是正数。所需操作 模型必须使 scaled_logit 为负数因为 负数 * -1 正数。T1/I2 的当前现实 scaled_logit 是 -11.0。结果 signed_logit 是 11.0。log_sigmoid 是 0。损失Loss是 0。更新 模型所做的正是要求。该样本对不需要进行大的更新。多设备数据并行计算对比学习Contrastive Learning已成为现代视觉-语言模型如 CLIP预训练的核心范式其典型代表 SigLip 通过使用逐对 sigmoid loss 替代传统的 InfoNCEsoftmax-based损失在大规模噪声数据上取得了显著的性能提升和训练稳定性。然而当训练扩展到数百甚至数千张加速卡时传统的数据并行策略在计算 SigLip 损失时会遭遇严重的效率瓶颈。具体而言在单卡批大小为 |B|、使用 D 个设备的情况下全局批大小达到 |B|×D。为正确计算逐对相似度并施加 sigmoid 损失标准实现必须通过昂贵的 all-gather 操作将所有设备的图像和文本嵌入收集到每一张卡上在每张卡上显式构造一个 |B|×D × |B|×D 规模的巨大相似度矩阵pairwise similarity matrix其内存占用随设备数 D 平方增长。在 D256 或更高时该矩阵轻易达到数百 GB 量级不仅远远超出单卡显存容量还会因频繁的跨节点集体通信而大幅降低训练吞吐量成为限制模型进一步扩展的关键障碍。幸运的是sigmoid 损失的数学形式具有高度可分解的特性使得我们能够在完全不构造全局相似度矩阵、不执行完整 all-gather 的前提下等价且数值稳定地计算梯度。损失函数损失函数重构这种分块 (chunked) 版本的损失计算策略的关键在于避免全局相似度矩阵 它通过在设备 上迭代地拉取来自所有其他设备 的局部负样本块本地计算该局部块的损失从而避免了实例化庞大的 矩阵。数据并行化 损失计算是分布式的利用了 D个设备。内存效率 由于每台设备只需要处理 大小的局部相似度计算而不是完整的 矩阵因此内存效率大大提高。高效损失计算演示下面通过一个包含 3 个设备 和 全局批量大小为 12 的模拟设置图5展示了高效的损失实现。没有使用 all-gathers全收集操作并且在任何时间点只有亮黄色方块大小为在内存中被具体化即被实际存储。图5高效并行损失计算示意图高效实现的目标是增量式地同时完成损失计算和特征通信。由于 SigLIP 对每一个图像-文本对的处理是完全独立的因此 SigLip 的损失可以增量式计算。图 5 用一个玩具示例toy setup展示了这个思想一个 batch_size12 的小批量分布在 3 张 GPU 上。在这个例子中有 12 个正样本对和 132 个负样本非对角线对。具体过程如下每张 GPU 先计算自己设备上那部分 mini-batch大小为 4的损失。然后每张 GPU 将自己的文本特征text features传递给一个“兄弟 GPU”。GPU#1 接收来自 GPU#2 的文本特征GPU#2 接收 GPU#3 的GPU#3 接收 GPU#1 的形成一个环形传递。此时每张 GPU 拥有了一组新的负样本对自己的图像特征 来自兄弟 GPU 的文本特征。接着在每张 GPU 上基于这些新的负样本对重新计算损失并累加到之前已经计算的损失上。SigLIP 就这样反复执行这两个步骤损失计算 特征通信直到整个 mini-batch 的总损失全部计算完成。结束语SigLIP 通过将对比学习转换为二维分类任务以极简却高效的方式在零样本分类、线性探针、跨模态检索以及多语言图像理解等任务上展现出了超越传统 CLIP 模型的惊人性能。更重要的是它揭示了一个关键洞见在高质量、大规模图文对数据面前精心设计的二元交叉熵sigmoid loss能够比 InfoNCE 更充分地挖掘配对样本中的信号从而在同等数据量下实现更高的参数效率和更强的鲁棒性。SigLIP 的成功不仅为开源社区提供了一个性能强劲、可商用、无需复杂蒸馏即可媲美甚至超越闭源模型的视觉-语言基座更为后续的多模态大模型研究指明了一条“回归本质”的路径当数据质量与规模达到一定阈值时最简单的配对损失往往就是最优解。未来基于 SigLIP 的思想我们完全有理由期待出现参数更小、速度更快、在长尾分布与多语言场景下更鲁棒的开源多模态基础模型。从这个意义上说SigLIP 不仅仅一个模型它是多模态预训练范式悄然转向的一个标志性节点——在数据为王的时代真正决定上限的或许从来就不是损失函数的复杂程度而是我们能否持续提供足够干净、足够多样的真实图文配对。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。天道酬勤你越努力就会成为越优秀的自己。如果你能在15天内完成所有的任务那你堪称天才。然而如果你能完成 60-70% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】