北京好的网站设计公司化妆品网站建设网站
张小明 2025/12/27 21:36:54
北京好的网站设计公司,化妆品网站建设网站,南磨房做网站公司,网络怎么推广自己的产品多卡并行#xff08;主要指数据并行 / 模型并行#xff09;中#xff0c;通信操作本质是在 多进程/多设备之间搬运张量。下面按你图里的典型操作逐一说明#xff0c;并给出直观语义与常见用途。1. Reduce语义#xff1a;多卡各自有一个张量 → 按某个规约算子合成一个结果…多卡并行主要指数据并行 / 模型并行中通信操作本质是在多进程/多设备之间搬运张量。下面按你图里的典型操作逐一说明并给出直观语义与常见用途。1. Reduce语义多卡各自有一个张量 → 按某个规约算子合成一个结果 → 只保留在指定一张卡[yop(x0,x1,…,xN−1)y \text{op}(x_0, x_1, \dots, x_{N-1})yop(x0,x1,…,xN−1)]常见算子sum / mean / max / min用途统计全局 loss只在 rank0 用收集指标但不回传给所有卡2. Broadcast语义一张卡上的张量 → 复制到所有卡x0→x0,x0,…,x0x_0 \rightarrow x_0, x_0, \dots, x_0x0→x0,x0,…,x0用途初始化模型参数rank0 加载其余同步同步配置、超参数3. Gather语义每张卡一个张量 → 按 rank 顺序拼接 → 放在指定一张卡y[x0∣x1∣…∣xN−1]y [x_0 | x_1 | \dots | x_{N-1}]y[x0∣x1∣…∣xN−1]特点输出 shape 会变大非对称只有 root 有结果用途验证 / 推理阶段收集所有样本结果日志、评测只在 rank04. Scatter语义一张卡有一个“大张量” → 切分 → 分发给各卡[x0,x1,…,xN−1]→xi[x_0, x_1, \dots, x_{N-1}] \rightarrow x_i[x0,x1,…,xN−1]→xi用途将数据 batch 切分到不同 GPUpipeline / tensor 并行中的输入分发5. All-Reduce语义Reduce Broadcastyop(x0,…,xN−1),每张卡都拿到 yy \text{op}(x_0, \dots, x_{N-1}),\quad \text{每张卡都拿到 } yyop(x0,…,xN−1),每张卡都拿到y这是训练中最核心的操作用途梯度同步DDP 标配grad_i → AllReduce(sum) → grad_global关键点通信量大但高度优化ring / tree通常与 backward 重叠bucket async6. All-Gather语义Gather Broadcasty[x0∣x1∣…∣xN−1],每张卡都有 yy [x_0 | x_1 | \dots | x_{N-1}],\quad \text{每张卡都有 } yy[x0∣x1∣…∣xN−1],每张卡都有y用途对比学习CLIP / InfoNCE需要“全局 batch”MoE / 检索 / 多卡负样本模型并行中拼接中间特征常见陷阱显存暴涨batch × world_size反向梯度是否需要all_gather_with_grad总结对照表操作输入输出位置是否对称典型用途ReduceN → 1单卡否指标、统计Broadcast1 → N所有卡否参数同步GatherN → 1单卡否验证收集Scatter1 → N所有卡否数据分发All-ReduceN → N所有卡是梯度同步All-GatherN → N所有卡是全局特征