网站开发的编程软件电子商务网站开发计划书

网站开发的编程软件,电子商务网站开发计划书,中国乌镇互联网国际峰会,本地编辑wordpress第六章：自然语言处理技术全景 6.1 语言模型演进：从n-gram到BERT 学习目标 理解语言模型的核心任务与评估方法，掌握从统计语言模型到神经语言模型的关键技术跃迁，深入理解BERT的预训练范式创新及其历史意义，为后续大语言模型学习奠定基础。 一、语言模型的基本问题定义 …第六章：自然语言处理技术全景6.1 语言模型演进：从n-gram到BERT学习目标理解语言模型的核心任务与评估方法，掌握从统计语言模型到神经语言模型的关键技术跃迁，深入理解BERT的预训练范式创新及其历史意义，为后续大语言模型学习奠定基础。一、语言模型的基本问题定义1.1 什么是语言模型？核心任务：语言模型（Language Model, LM）旨在计算一个词序列的概率，或预测序列中下一个词的概率分布。数学形式：给定词序列w 1 , w 2 , . . . , w T w_1, w_2, ..., w_Tw1​,w2​,...,wT​，语言模型计算联合概率：[P(w_1, w_2, …, w_T) = \prod_{t=1}^T P(w_t | w_1, …, w_{t-1})]两大核心能力：生成：采样生成符合语言规律的文本评估：判断文本的流畅性与合理性1.2 语言模型的关键挑战维度灾难词典大小∣ V ∣ |V|∣V∣通常为万到百万量级，n nn个词的联合概率空间大小为∣ V ∣ n |V|^n∣V∣n，完全不可枚举。长距离依赖自然语言中，相隔较远的词之间可能存在强依赖关系，如主谓一致、指代关系等。数据稀疏性实际语料中，大多数词序列组合从未出现，但模型需要合理估计其概率。二、统计语言模型时代2.1 n-gram模型：马尔可夫假设的实践核心思想通过马尔可夫假设简化条件概率计算：一个词的概率只依赖于其前n − 1 n-1n−1个词。n-gram概率估计：[P(w_t | w_1, …, w_{t-1}) \approx P(w_t | w_{t-n+1}, …, w_{t-1})]n的选择权衡n值模型名称优势劣势1unigram参数少，估计稳定忽略所有上下文2bigram捕捉局部依赖长距离依赖缺失3trigram平衡性能与复杂度数据稀疏问题显著4+4-gram, 5-gram捕捉更长上下文参数爆炸，严重稀疏参数估计：最大似然估计从语料中统计n-gram出现频次：[P(w_t | w_{t-n+1}, …, w_{t-1}) = \frac{\text{count}(w_{t-n+1}, …, w_t)}{\text{count}(w_{t-n+1}, …, w_{t-1})}]2.2 平滑技术：应对稀疏数据加一平滑（Laplace Smoothing）为所有n-gram计数加1：[P_{\text{add-one}}(w_t | w_{t-1}) = \frac{\text{count}(w_{t-1}, w_t) + 1}{\text{count}(w_{t-1}) + |V|}]古德-图灵估计（Good-Turing）将频次r rr的n-gram概率估计调整为r ∗ r^*r∗：[r^* = (r+1) \frac{N_{r+1}}{N_r}]其中N r N_rN