校园二手物品交易网站怎么做视频素材库网站免费

校园二手物品交易网站怎么做,视频素材库网站免费,网页动态设计软件,关键词的分类和优化作者#xff1a;Zhikai Li 原文#xff1a;https://mp.weixin.qq.com/s/8SViawyGjoHKhbW0qWtuYA 生成式视频模型正以前所未有的速度进化#xff0c;从数秒短片拓展至长时段叙事#xff0c;从模糊低清跃升至逼真4K。 然而#xff0c;随着视频时长和空间分辨率的提升#…作者Zhikai Li原文https://mp.weixin.qq.com/s/8SViawyGjoHKhbW0qWtuYA生成式视频模型正以前所未有的速度进化从数秒短片拓展至长时段叙事从模糊低清跃升至逼真4K。然而随着视频时长和空间分辨率的提升序列长度急剧增加二次复杂度的注意力计算量随之飙升即便采用 FlashAttention 等高效优化推理延时仍然难以遏制。以生成一段 720p、5 秒的视频为例单是注意力计算就需要耗时数十分钟。炫目的生成质量因此被漫长的等待所拖累限制了真实应用的落地。为此中科院自动化所研究团队提出了Rectified SpaAttn校正式稀疏注意力它从理论上揭示了传统稀疏注意力存在的系统性偏差并据此构建出一种更快、更稳的稀疏注意力新范式。通过校正稀疏注意力使其分布更贴近真实注意力Rectified SpaAttn能在更高稀疏率下依然保持卓越的生成质量将视频生成中注意力稀疏化加速的潜能进一步推向极限。论文地址https://arxiv.org/abs/2511.19835项目地址https://github.com/BienLuky/Rectified-SpaAttn为什么稀疏注意力做不好不是“不够精确”而是“存在偏差”为了加速注意力计算稀疏注意力通常只保留少量关键 tokens 的运算忽略大部分非关键 tokens以此降低计算量。为了让稀疏注意力更接近真实注意力传统方法大多从重排序或重要性评估入手力图更精准地挑选应当保留的关键 tokens从而最大化信息保留。然而理论分析表明这类以“精确选择”为核心的稀疏注意力方法存在两类系统性偏差如下图所示。关键 tokens 的注意力被系统性放大稀疏后 softmax 只在少量被保留的 tokens 上归一化相比真实注意力这些关键 tokens 的权重被显著推高。非关键 tokens 的注意力完全丢失未被保留的 tokens 不再参与任何计算其注意力贡献被彻底抹除。更重要的是随着稀疏率提高这两种偏差都会进一步加剧。因此即便传统稀疏注意力方法在挑选重要 tokens 方面再精确它们仍然难以在高稀疏率下保持生成质量。Rectified SpaAttn不是“精确选择”而是“偏差校正”研究团队提出了一个关键洞察对均匀池化后的 Q 和 K 进行注意力计算可得到一种“隐式全注意力”其分布与真实全注意力高度一致。基于这一发现Rectified SpaAttn 并不再执着于挑选哪些 tokens 更重要而是以“隐式全注意力”为参考对稀疏注意力进行系统校正让其分布重新对齐真实注意力如下图所示。隔离池化的注意力重分配理论推导表明关键 tokens 在稀疏注意力中出现的偏差与其在真实全注意力中的权重总和严格成正比。因此可以通过“隐式全注意力”估计这一权重和从而对偏差进行有效校正。然而由于文本 tokens 缺乏块内同质性直接对完整序列的 Q 和 K 进行池化会导致“隐式全注意力”产生显著误差。为此研究者提出隔离池化的注意力重分配IPAR① 隔离文本 tokens仅对视觉 tokens 进行池化得到混合粒度的池化注意力② 根据粒度差异进行重加权与归一化重构与真实注意力高度一致的“隐式全注意力”。以此确保关键 tokens 的注意力偏差能够被准确校正。收益感知的池化校正池化得到的“隐式全注意力”只具备块粒度的信息用它来近似非关键 tokens 的 token 粒度注意力权重既会带来注意力信息收益也会引入块池化带来的近似误差。因此盲目的使用“隐式全注意力”对所有非关键tokens进行补偿可能导致校正不稳定甚至失效。为此研究者提出收益感知的池化校正GAPR① 分别建模校正带来的注意力收益与池化误差在块维度上对两者进行量化估计② 设定校正条件仅当补偿收益大于近似误差时才对对应的非关键 token 块执行校正。以此确保对非关键 tokens 的注意力偏差校正既可靠又稳健。整体效果更快、更稳对比实验下表显示了在视频生成模型 HunyuanVideo 和 Wan 2.1 上的评估结果相较当前 SoTA 的传统稀疏注意力方法Rectified SpaAttn 能在更高稀疏率下依然保持更优的视觉质量。同时与模型缓存技术结合Rectified SpaAttn 能进一步实现 4–9 倍的端到端加速在加速与性能之间取得双重突破。消融实验在 HunyuanVideo 上的消融结果表明使用直接池化得到的“隐式全注意力”对所有 tokens 进行盲目校正不仅无法提升性能反而因错误校正导致生成质量下降。相比之下引入 IPAR 与 GAPR 后对关键与非关键 tokens 进行分别、精准的偏差校正模型性能显著提升。此外由于校正操作均基于池化张量完成额外开销极小因而在提升质量的同时依然保持了高稀疏加速效率。