论坛购物网站开发动漫制作专业专升本考什么

论坛购物网站开发,动漫制作专业专升本考什么,电影制作专业,电脑网站和手机网站的区别自用LLM八股卡片笔记系列#xff08;第四讲#xff1a;循环神经网络家族#xff09; 这篇是给未来的自己看的#xff1a;10 分钟把 RNN / LSTM / GRU / BiLSTM 的“能说清楚版”过一遍。 标签#xff1a;#笔记 #RNN #LSTM #GRU #深度学习 #八股 #面经 本讲想解决什么问题第四讲循环神经网络家族这篇是给未来的自己看的10 分钟把 RNN / LSTM / GRU / BiLSTM 的“能说清楚版”过一遍。标签#笔记#RNN#LSTM#GRU#深度学习#八股#面经本讲想解决什么问题面试里关于循环神经网络几乎都会绕到三件事RNN 到底卡在哪里LSTM/GRU 是怎么“救场”的真实工程里怎么选谁上场、怎么解释自己的选择这篇不是推导笔记而是“答题大纲 记忆路标”配套 RemNote 卡片使用。一句话主线RNN会记但记不久。LSTM多了一条“细水长流”的记忆通道。GRU砍一个门换速度和参数量。BiLSTM / CNN-LSTM在“时间方向”和“特征提取方式”上进一步增强。怎么用这篇卡片刷八股博客当“总览”面试前 510 分钟快速扫一遍确认主线没丢。RemNote 卡片当“肌肉训练”正向背定义、公式、结构图反向练用“为什么/如果不用会怎样/从梯度角度再说一遍”自问自答。核心目标只有一个不追求把所有细节记住但每个关键词RNN / 梯度消失 / Cell / 门 / GRU / BiLSTM一出来你能立刻说出一整条逻辑链而不是只丢一个名词。卡片内容remnote可复制版循环神经网络深度剖析 ##LLM面试 ##RNN ##LSTM ##GRU ##高频八股 【高频】为什么需要 RNN全连接网络的局限 全连接网络处理序列数据的核心问题无法有效捕捉数据的{{时间依赖性}}输入维度会随序列长度{{急剧上升}},导致参数爆炸和过拟合 缺乏{{参数共享}}机制,无法泛化到不同长度的序列**RNN(Recurrent Neural Network)**专门用于处理{{序列数据}}的神经网络,通过{{循环连接}}使网络具有记忆能力 RNN 核心原理**隐藏状态(Hidden State)**RNN 的核心概念,用符号{{h}}表示,能够对序列数据{{提取特征}}并在时间步间传递信息 RNN 隐藏状态的计算公式$$h_tf(Wh_{t-1}Ux_tb_t)$$,其中 f 通常是{{tanh}}、sigmoid 或 ReLU 【高频】RNN 参数共享的具体含义所有时间步使用{{相同的 U、W、b}}$$x_i$$ 在不同时刻 i 始终乘以权重{{U}}$$h_i$$ 在不同时刻 i 始终乘以权重{{W}}这使得 RNN 可以处理{{任意长度}}的序列 RNN 输出的计算方式$$y_tg(Vh_tc)$$,使用{{相同的参数 V 和 c}}【注意】LSTM 权重共享的区别LSTM 中不同的门之间权重{{不共享}},但{{相同门}}在不同时间步之间权重共享 【高频】RNN 的致命缺陷**长期依赖问题(Long-Term Dependencies)**当相关信息和预测位置的{{间隔增大}}时,RNN 会丧失学习远距离信息的能力 短依赖 vs 长依赖的经典例子短依赖:the clouds are in the...预测{{sky}}—— RNN 可以胜任 长依赖:I grew up in France... I speak fluent...预测{{French}}—— RNN 会失败 【高频】为什么 RNN 会梯度消失反向传播时梯度需要沿{{时间步逐层传递}}梯度经过多次{{连乘}}后会指数级衰减 梯度变得非常小时,{{较早的层}}会停止学习 结果:RNN 只具有{{短时记忆}}【高频】为什么 RNN 会梯度爆炸计算难度越来越复杂导致梯度在连乘过程中{{指数级增长}}梯度问题的影响新权值 等价于 旧权值 减去 学习率乘以梯度,当梯度接近{{0}}时权重无法更新 RNN 改进的尝试有哪些仔细地{{初始化参数}}使用非饱和激活函数 如{{ReLU}}应用{{批量归一化}}、梯度裁剪、Dropout 使用{{时间截断反向传播 BPTT}}但这些方法效果{{有限}},最终需要 LSTM 或 GRU LSTM 架构设计哲学**LSTM(Long Short-Term Memory)**RNN 的特殊变体,通过引入{{门控机制}}和{{细胞状态}}解决梯度消失和梯度爆炸 【高频】LSTM 相比 RNN 的结构差异RNN:重复模块只有{{单一神经网络层}}例如一个 tanh 层 LSTM:重复模块包含{{四个交互层}}具体是3个 Sigmoid 加上1个 tanh**细胞状态(Cell State)**CtLSTM 的核心,记作{{C}}作用:贯穿整个时间步的传送带,用于{{长期记忆}}的保存和传递 特点:仅通过{{线性方式}}更新,信息流动更稳定 【高频】LSTM 如何缓解梯度消失通过{{细胞状态}}提供额外的信息流路径 门控机制使用{{Sigmoid}}函数,将梯度控制在合理范围{{加法更新}}细胞状态 而非 RNN 的乘法,避免梯度指数衰减 LSTM 三大门控机制详解**遗忘门(Forget Gate)ft**功能:决定从细胞状态 Ct 减1中{{丢弃什么信息}}公式:$$f_t\sigma(W_{fh}h_{t-1}W_{fx}x_tb_f)$$ 输出范围:{{0到1}}之间,0表示{{完全舍弃}},1表示{{完全保留}}物理意义:记住重要的,忘记{{无关紧要的}}**输入门(Input Gate)it**功能:决定向细胞状态中{{添加什么新信息}}包含两个步骤:$$i_t\sigma(W_i[h_{t-1},x_t]b_i)$$ 和 $$\tilde{C}_t\tanh(W_C[h_{t-1},x_t]b_C)$$ it 决定{{更新哪些值}},$$\tilde{C}_t$$ 生成{{候选值向量}}**输出门(Output Gate)ot**功能:决定输出多少细胞状态信息作为{{当前隐状态}}公式:$$o_t\sigma(W_o[h_{t-1},x_t]b_o)$$ 隐状态更新:$$h_to_t \times \tanh(C_t)$$ 【核心】细胞状态更新公式$$C_tf_t \times C_{t-1}i_t \times \tilde{C}_t$$,物理意义是{{遗忘旧信息}}加上{{添加新信息}}LSTM 完整前向传播步骤第一步:遗忘门决定{{遗忘什么}}第二步:输入门决定{{储存什么}}第三步:更新{{细胞状态}}Ct 第四步:输出门决定{{输出什么}}ht 【淘汰9成面试者】LSTM 激活函数设计 【高频】LSTM 为什么需要两种激活函数门控机制需要在{{0到1}}之间控制信息流,Sigmoid 用于{{门控}},Tanh 用于{{状态转换}}**Sigmoid 激活函数在 LSTM 中的作用**将输入映射到{{0到1}}之间 应用于{{遗忘门、输入门、输出门}}物理意义:任何数乘以{{0}}则信息被剔除,乘以{{1}}则信息被完美保存 使门的开启和关闭状态变化更{{平滑}}**Tanh 激活函数在 LSTM 中的作用**将输入映射到{{-1到1}}之间 应用于{{候选细胞状态生成}}和{{输出隐状态计算}}优势:具有更大的{{动态范围}},帮助模型更好捕捉序列信息 【高频】为什么门控用 Sigmoid 而不用 ReLUSigmoid 输出在{{0到1}}之间,天然符合保留多少信息的语义 ReLU 输出{{无上界}},不适合做门控的开关符合记住重要的,忘记无关紧要的设计原则 LSTM 中还可能用到的激活函数**ReLU**:虽然不常用于门控,但在某些变体的{{前馈层}}中使用**Softmax**:通常用于 LSTM 后的{{输出层}},进行多分类预测 GRU 简化之道**GRU(Gate Recurrent Unit)**LSTM 的简化版本,只包含{{两个门}},参数量约为 LSTM 的{{2/3}}GRU 的两个门控机制**重置门(Reset Gate)rt**:控制{{保留多少上一时刻隐状态}},公式 $$r_t\sigma(W_r[h_{t-1},x_t]b_r)$$**更新门(Update Gate)zt**:控制{{新旧状态如何融合}},公式 $$z_t\sigma(W_z[h_{t-1},x_t]b_z)$$ GRU 候选隐状态的计算$$\tilde{h}_t\tanh(W_h[(h_{t-1}\times r_t),x_t]b_h)$$,重置门控制{{过去信息的影响程度}}GRU 最终隐状态更新公式$$h_t(1-z_t)\times h_{t-1}z_t \times \tilde{h}_t$$,是{{旧状态与新状态的加权融合}}【高频】GRU 相比 LSTM 的优势参数量{{更少}},约为 LSTM 的2/3计算效率{{更高}},训练速度更快 对{{小数据集和较短序列}}更有效 工程上更易部署,显存占用{{更小}}【高频】GRU 的局限性没有单独的{{细胞状态}},可能无法像 LSTM 那样充分保留长期信息 在{{超长序列}}上表现不如 LSTM 仍可能遭受{{梯度爆炸}}问题 【对比表】RNN vs LSTM vs GRU 核心组件对比RNN:仅有{{隐藏状态 h}}GRU:隐藏状态 h 加上{{2个门}}重置门和更新门 LSTM:隐藏状态 h 加上{{细胞状态 C}}加上{{3个门}}遗忘门、输入门、输出门 门控机制对比RNN:{{无}}门控机制 GRU:{{2个门}}更新门、重置门 LSTM:{{3个门}}遗忘门、输入门、输出门 参数量对比RNN:{{最少}}仅权重矩阵和偏置 GRU:{{中等}}比 LSTM 少约1/3参数 LSTM:{{最多}}三个门独立参数 计算复杂度RNN 是{{低}},GRU 是{{中等}},LSTM 是{{高}}长期依赖捕获能力RNN:只能捕获{{短期依赖}},序列长时会遗忘 GRU:介于两者之间,对{{中等长度序列}}效果好 LSTM:通过细胞状态有效捕获{{长期依赖}}【高频】什么时候选 LSTM,什么时候选 GRU数据量大、序列长:优先{{LSTM}}资源受限、序列中等:优先{{GRU}}需要最强长期记忆:选择{{LSTM}}追求训练速度:选择{{GRU}}双向 LSTM 架构**BiLSTM(Bidirectional LSTM)**由{{两层 LSTM}}上下叠加,一层处理{{正向序列}},另一层处理{{反向序列}}BiLSTM 的计算流程正向 LSTM:从 $$x_1$$ 到 $$x_T$$ 计算得到{{正向隐状态}}$$h_t^f$$ 反向 LSTM:从 $$x_T$$ 到 $$x_1$$ 计算得到{{反向隐状态}}$$h_t^b$$ 最终输出:$$h_t[h_t^f;h_t^b]$$ 通过{{拼接}}两个方向的隐状态得到 【高频】BiLSTM 为什么效果更好能够同时捕获{{从前向后}}和{{从后向前}}的信息 对当前时刻,既能看到{{过去}},也能看到{{未来}}的上下文 适用于需要考虑{{完整句子语义}}的任务 BiLSTM 的典型应用场景命名实体识别 NER:需要{{完整上下文}}判断实体边界 情感分类:需要理解句子的{{整体语义}}词性标注:当前词性依赖{{前后词汇}}机器翻译的编码器 BiLSTM 的缺点无法用于{{实时预测}}任务,因为需要等待完整序列输入 CNN-LSTM 混合架构**CNN-LSTM**{{CNN}}用于提取特征,{{LSTM}}用于建模序列关系 CNN-LSTM 的设计逻辑CNN:利用卷积特性,{{快速且准确}}地提取局部特征 LSTM:捕捉提取特征间的{{长时依赖性}}CNN-LSTM 的应用场景视频分类:CNN 提取{{每帧图像特征}},LSTM 建模{{时序关系}}文本分类:CNN 提取{{N-gram 特征}},LSTM 建模{{句子结构}}时间序列预测:CNN 提取{{局部模式}},LSTM 捕获{{长期趋势}}【高频】LSTM 解决了 RNN 什么问题 LSTM 的核心改进通过{{细胞状态}}解决了传统 RNN 的梯度消失问题 能够有效捕获{{长期依赖关系}}而非仅短期记忆 通过{{门控机制}}实现选择性记忆和遗忘 使模型能处理{{更长的序列}}LSTM 为什么权重不同于 RNNRNN:所有时间步使用{{完全相同}}的 U、W、b LSTM:每个门有{{独立的权重矩阵}}Wf、Wi、Wo、WC 但同一个门在不同时间步的权重{{仍然共享}}性能与工程对比 任务综合效果排名{{Transformer}}优于 CNN,CNN 略微优于{{RNN}}运行速度排名{{Transformer 和 CNN}}优势明显,{{RNN}}的劣势十分突出 为什么 RNN 系列速度慢必须{{串行计算}}每个时间步,无法并行 隐状态依赖{{上一步的输出}},GPU 利用率低 梯度需要{{反向传播整个序列}},计算开销大 LSTM 工程优化方向使用{{CuDNN}}库的优化实现 采用{{时间截断}}BPTT 减少反向传播步数 使用{{混合精度训练}}fp16 加速计算 考虑用{{Transformer}}替代处理超长序列