企业免费网站建设哪里比较好互动平台表示公司帮助国内客户进行新冠药物研发

企业免费网站建设哪里比较好,互动平台表示公司帮助国内客户进行新冠药物研发,怎么做网站的移动端适配版,网站续费模板2025年年初随着DeepSeek的爆火#xff0c;人们对LLM#xff08;Large Language Model#xff0c;大语言模型#xff09;兴趣与日激增#xff0c;很多人觉得LLM常常显得近乎魔法般神奇。接下来我们就来揭开LLM的神秘面纱。 我想退一步#xff0c;拆解一下LLM的基本原理—…2025年年初随着DeepSeek的爆火人们对LLMLarge Language Model大语言模型兴趣与日激增很多人觉得LLM常常显得近乎魔法般神奇。接下来我们就来揭开LLM的神秘面纱。我想退一步拆解一下LLM的基本原理——深入探讨这些模型是如何构建、训练和微调最终成为我们今天所使用的AI系统的。这篇深入解析是我一直想做的如果你有时间本文绝对值得一看。本文分为两大部分第1部分 涵盖LLM的基础知识包括从预训练到后训练、神经网络、幻觉现象Hallucinations以及推理过程。第2部分人工智能/人类反馈强化学习RLHF、o1模型研究、DeepSeek R1、AlphaGo。让我们开始吧首先我们来看LLM是如何构建的。第1部分从整体上看训练LLM主要包括两个关键阶段预训练Pre-training和后训练Post-training。1. 预训练Pre-training在LLM能够生成文本之前它首先必须学习语言的工作方式而这一过程就是预训练——一个极其计算密集的任务。步骤1数据收集与预处理训练LLM的第一步是收集尽可能多的高质量文本数据。目标是创建一个庞大且多样化的数据集涵盖广泛的人类知识。一个常见的数据来源是Common Crawl**这是一个免费的、开放的网页爬取数据存储库包含过去18年间约2500亿个网页的数据。然而原始网页数据往往比较嘈杂——其中包含垃圾信息、重复内容和低质量文本因此数据预处理至关重要。**https://commoncrawl.org/如果你对经过预处理的数据集感兴趣FineWeb提供了一个整理后的Common Crawl版本并已在Hugging Face上公开可用。https://huggingface.co/spaces/HuggingFaceFW/blogpost-fineweb-v1一旦文本语料库经过清理就可以进行分词Tokenization处理。步骤2分词Tokenization在神经网络处理文本之前文本必须先转换为数值形式。这一过程就是分词它将单词、子词或字符映射为唯一的数值token。可以把token想象成构建语言模型的基本单元——所有语言模型的核心组件。在GPT-4中可能的token数量为100277个。一个常见的分词工具是Tiktokenizer它允许你进行分词实验并查看文本是如何被拆解为token的。https://tiktokenizer.vercel.app/你可以尝试输入一句话看看每个单词或子词是如何被分配一系列数值ID的。步骤3神经网络训练Neural Network Training一旦文本被分词处理神经网络就会学习根据上下文预测下一个token。模型会接收一串输入token例如“我正在烹饪”然后通过一个庞大的数学表达式——即模型的架构——进行处理以预测下一个token。一个神经网络主要由两个关键部分组成参数参数权重Weights通过训练学习得到的数值。架构数学表达式Architecture定义输入token如何被处理以生成输出的结构。最初模型的预测是随机的但随着训练的进行它逐渐学会为可能的下一个token分配概率。当正确的token例如“食”被识别后模型会通过反向传播Backpropagation来调整数十亿个参数权重。这是一个优化过程通过提高正确预测的概率、降低错误预测的概率来强化模型的学习。这个过程会在海量数据集上重复数十亿次。基础模型Base Model预训练的产物在这一阶段基础模型已经学会了单词、短语和句子之间的关联训练数据中的统计模式然而基础模型并未针对真实世界任务进行优化。你可以将其类比为一个高级自动补全系统——它能够基于概率预测下一个token但缺乏良好的指令跟随能力。基础模型有时会逐字复述训练数据并且可以通过上下文学习In-Context Learning进行特定应用即在提示Prompt中提供示例来引导模型的响应。但为了让模型真正有用且可靠它还需要进一步训练。一直在更新更多的大模型学习和面试资料已经上传带到CSDN的官方了有需要的朋友可以扫描下方二维码免费领取【保证100%免费】2. 后训练Post-Training让模型更实用基础模型是未经打磨的。为了让它更加实用、可靠、安全需要进行后训练Post-Training即在更小、更专业的数据集上进行微调。由于神经网络无法像传统软件那样被显式编程我们只能通过训练它来“编程”它即让它学习有结构的、带标注的数据集这些数据代表了理想的交互示例。后训练的方式后训练阶段会创建专门的数据集这些数据集包含结构化的示例指导模型在不同情况下的回应方式。指令/对话微调Instruction/Conversation Fine-Tuning目标让模型学会遵循指令、执行任务、进行多轮对话、遵守安全规范、拒绝恶意请求等。例如InstructGPT2022OpenAI聘请了约40名合同工来创建这些标注数据集。这些人工标注者编写提示Prompts并提供基于安全指南的理想响应。如今许多数据集由AI自动生成再由人工审核和编辑以确保质量。领域特定微调Domain-Specific Fine-Tuning目标使模型适应特定领域如医学、法律、编程等。此外后训练还会引入特殊token——这些token在预训练阶段并未使用它们有助于模型理解交互的结构。这些token可以标记用户输入的起始与结束以及AI响应的起始位置确保模型能够正确区分提示Prompt和回答Reply。3. 推理Inference——模型如何生成新文本推理Inference可以在任何阶段进行甚至可以在预训练中途执行以评估模型的学习效果。当模型接收到一组输入token后它会根据在训练过程中学到的模式为所有可能的下一个token分配概率。但模型并非总是选择最可能的token而是会在概率分布中进行采样——类似于抛掷一个带偏向的硬币其中高概率的token更有可能被选中。这个过程会迭代进行每个新生成的token都会成为下一次预测的输入。由于token选择是随机的即使相同的输入也可能产生不同的输出。随着推理的进行模型可以生成并未直接出现在训练数据中但符合统计模式的文本。4. 幻觉Hallucinations——当LLM生成错误信息幻觉Hallucination是指LLM生成虚假或错误的信息。其根本原因在于LLM并不“知道”事实——它只是根据训练数据预测最可能的单词序列。在早期LLM的幻觉问题十分严重。例如在下图的案例中如果训练数据包含大量类似“谁是…”的问题并且这些问题都有明确答案那么模型会学习到这类查询应该总是有一个自信的回答即使它并没有相关知识。因此当被问到一个未知人物时模型不会默认回答“我不知道”因为这种模式在训练过程中并未被强化。相反它会基于已有模式生成最可能的猜测这往往会导致编造的信息。如何减少幻觉方法一说“我不知道”提高事实准确性需要明确地训练模型去识别它不知道的内容——这比看起来要复杂得多。这是通过自我询问Self-Interrogation来完成的这是一个帮助定义模型知识边界的过程。自我询问可以通过另一个AI模型来自动化该模型生成问题以探测知识盲点。如果它生成了错误的答案就会加入新的训练示例其中正确的回应是“我不确定。能否提供更多上下文”如果模型在训练中多次看到一个问题它将为正确答案分配较高的概率。如果模型以前没有遇到过这个问题它会在多个可能的token之间更均匀地分配概率从而使输出更加随机。没有单一token被认为是最可能的选择。微调显式地训练模型处理低置信度的输出并用预定义的回答来应对。例如当我问ChatGPT-4o“谁是 sjuehaxucwq xewdqdqw?”时它正确地回应“我不确定那是谁。能否提供更多上下文”方法二进行网络搜索一种更先进的方法是通过给予模型访问外部搜索工具从而扩展模型的知识范围超出其训练数据。从高层来看当模型检测到不确定性时它可以触发一次网络搜索。然后搜索结果会被插入到模型的上下文窗口中——本质上允许这些新数据成为模型的工作记忆的一部分。模型在生成响应时会参考这些新信息。5. 模糊记忆与工作记忆一般来说LLM有两种知识访问方式。模糊记忆模型在预训练过程中存储的知识。这是基于从大量互联网数据中学到的模式但并不精确也不可搜索。工作记忆模型上下文窗口中的信息在推理过程中可以直接访问。提供的任何文本都作为短期记忆使模型能够在生成响应时回忆细节。在上下文窗口中加入相关事实显著提高了响应的质量。6. 自我认知当被问到“你是谁”或“是什么构建了你”等问题时LLM会根据它的训练数据生成一个统计上最合适的猜测除非被显式地编程以准确回应。LLM没有真正的自我意识它们的回应依赖于训练过程中看到的模式。为模型提供一致身份的一种方式是使用系统提示System Prompt通过设置预定义的指令来描述模型自身、其能力以及其局限性。7. 结束语第一部分就到这里希望这能帮助你建立起对LLM工作原理的直觉。在第二部分我们将深入探讨强化学习以及一些最新的模型。第2部分之前我们讨论了训练LLM的前两个主要阶段预训练从大量数据集中学习形成基础模型。SFTSupervised Fine-Tuning监督微调用精心挑选的示例来优化模型使其更加实用。现在我们将深入探讨下一个主要阶段RL**Reinforcement Learning强化学习**。尽管预训练和SFT已经是成熟的方法但RL仍在不断发展并且已成为训练流程中的关键环节。RL的目的是什么人类和LLM处理信息的方式不同。对于我们来说——像基本的算术——是直观的但LLM只将文本看作一串token序列这对LLM来说并不直观。相反LLM能够在复杂的主题上生成专家级的回答仅仅因为它在训练过程中见过足够多的示例。这种认知差异使得人类注释者很难提供一组“完美”的标签能够持续地引导LLM找到正确的答案。RL弥补了这一差距它允许模型从自身的经验中学习。模型不仅仅依赖显式的标签而是探索不同的token序列并根据哪些输出最有用来获得反馈——奖励信号。随着时间的推移模型学会了更好地与人类意图对齐。RL背后的直觉LLM是随机的——意味着它们的回答并不是固定的。即使是相同的提示输出也会有所不同因为它是从一个概率分布中采样的。我们可以利用这种随机性通过并行生成成千上万甚至数百万个可能的响应。可以把它看作是模型在探索不同的路径——有些是好的有些是差的。我们的目标是鼓励它更多地选择较好的路径。为了做到这一点我们让模型训练在那些导致更好结果的token序列上。与监督微调不同在监督微调中人类专家提供标签数据强化学习则允许模型从自身的学习中获得进步。模型发现哪些响应最有效并在每个训练步骤后更新它的参数。随着时间的推移这使得模型在未来收到相似提示时更有可能生成高质量的答案。但是如何确定哪些响应是最好的我们应该进行多少RL训练这些细节是很复杂的要做到精准并不简单。RL并不是“新”的——它能超越人类专业水平AlphaGo2016RL的强大力量的一个很好的例子是DeepMind的AlphaGo它是第一个击败职业围棋选手的AI并最终超越了人类水平。在2016年的《自然》杂志论文中如下图所示当一个模型纯粹通过SFT训练给模型大量好的例子让其模仿时模型能够达到人类水平的表现但永远无法超越它。虚线代表韩国围棋选手李世石的表现。这是因为SFT关注的是复制而非创新——它不能让模型发现超越人类知识的新策略。然而RL使AlphaGo能够与自己对弈改进策略并最终超越人类的专业水平蓝线。RL代表了AI的一个令人兴奋的前沿——在我们将模型训练在一个多样且具有挑战性的问题池中时模型能够探索超越人类想象的策略从而优化其思维策略。RL基础回顾让我们快速回顾一下典型RL设置的关键组成部分Agent智能体学习者或决策者。它观察当前的状态state选择一个动作action然后根据结果reward更新其行为。Environment环境智能体所操作的外部系统。State状态在给定时间步t的环境快照。在每个时间戳agent在环境中执行一个动作该动作将环境的状态改变为新的状态。智能体还会收到反馈表明该动作的好坏。这个反馈称为奖励reward并以数字形式表示。正奖励鼓励该行为负奖励则不鼓励该行为。通过使用来自不同状态和动作的反馈智能体逐渐学习出最佳策略以便在时间上最大化总奖励。策略策略是Agent的决策规则。如果Agent遵循一个好的策略它将始终做出正确的决策从而在多个步骤中获得更高的奖励。用数学术语来说策略是一个函数它确定给定状态下不同输出的概率πθ(a|s)。价值函数估计处于某个状态下的好坏程度考虑长期期望奖励。对于LLM大语言模型而言奖励可能来自人类反馈或奖励模型。Actor-Critic架构这是一个流行的强化学习设置结合了两个组件Actor演员学习并更新策略πθ决定在每个状态下应该采取哪个动作。Critic评论者评估价值函数V(s)为演员提供反馈告知其选择的动作是否导致了好的结果。工作原理演员基于当前策略选择一个动作。评论者评估结果奖励 下一个状态并更新其价值估计。评论者的反馈帮助演员优化策略使未来的动作能够获得更高的奖励。将其与LLM结合状态可以是当前的文本提示或对话而动作则是生成的下一个token词或子词。奖励模型例如人类反馈告诉模型它生成的文本是好是坏。策略是模型选择下一个token的策略而价值函数则估计当前文本上下文在最终生成高质量响应方面的有益程度。DeepSeek-R1为了强调RL的重要性接下来我们将探索DeepSeek-R1这是一种推理模型在保持开源的同时达到了顶尖的性能。该论文介绍了两个模型DeepSeek-R1-Zero和DeepSeek-R1。DeepSeek-R1-Zero仅通过大规模的RL进行训练跳过了SFT。DeepSeek-R1在此基础上构建解决了遇到的挑战。让我们深入探讨一下这些关键点。1. RL算法GRPO一个关键的改变游戏规则的RL算法是GRPO (Group Relative Policy Optimisation群组相关策略优化)它是广受欢迎的PPOProximal Policy Optimisation近端策略优化的变种。GRPO在2024年2月的《DeepSeekMath》论文中被引入。为什么选择GRPO而不是PPOPPO在推理任务中的表现较差原因如下依赖于评论者模型Critic model。PPO需要一个单独的评论者模型实际上会增加内存和计算开销。训练评论者模型在处理细致或主观任务时可能变得复杂。高计算成本因为RL流水线需要大量资源来评估和优化响应。绝对奖励评估。当依赖于绝对奖励时——即只有一个标准或度量来判断答案是“好”还是“坏”——它很难捕捉到不同推理领域中开放性任务的细微差别。GRPO是如何解决这些挑战的GRPO通过使用相对评估而消除了评论者模型——响应是在一个组内进行比较而不是通过固定标准来判断。可以想象学生在解决问题。与其让老师单独批改每个学生的作业不如让他们比较答案从中学习。随着时间的推移表现会趋向于更高质量。GRPO如何融入整个训练过程GRPO通过修改损失计算方式而保持其他训练步骤不变收集数据查询 响应对于LLM查询就像是问题。旧策略模型的旧快照为每个查询生成多个候选答案。分配奖励——每个组中的响应都会被评分即“奖励”。计算GRPO损失通常你会计算损失——这显示了模型预测与真实标签之间的偏差。然而在GRPO中你测量的是3.1 新策略生成过去响应的可能性有多大3.2 这些响应相对更好还是更差3.3 应用裁剪以防止极端更新。这将得到一个标量损失。反向传播 梯度下降反向传播计算每个参数对损失的贡献。梯度下降更新这些参数以减少损失。经过多次迭代这会逐渐调整新策略使其更倾向于产生高奖励响应。偶尔更新旧策略使其与新策略匹配。这为下一轮比较刷新了基准。2. CoTChain of Thought思维链传统的LLM训练流程是预训练 → SFT → RL。然而DeepSeek-R1-Zero跳过了SFT允许模型直接探索CoT推理。就像人类在思考一个棘手问题时CoT使得模型能够将问题分解为中间步骤从而增强复杂的推理能力。OpenAI的o1模型也利用了这一点正如其2024年9月报告中所指出的o1的表现随着更多RL训练时计算和更多推理时间测试时计算的增加而提升。DeepSeek-R1-Zero表现出反思性倾向能够自我精炼推理过程。论文中的一个关键图表显示随着训练的进行思考的深度增加导致了更长更多token、更详细且更优的响应。在没有显式编程的情况下它开始重新审视过去的推理步骤从而提高了准确性。这突显了思维链推理作为RL训练的一种涌现特性。模型还经历了一个“啊哈时刻”见下图——这是一个令人着迷的例子展示了RL如何导致意想不到且复杂的结果。注意与DeepSeek-R1不同OpenAI没有在o1中展示完整的推理链条因为他们担心蒸馏风险——即有人试图模仿这些推理痕迹通过模仿恢复大量的推理性能。相反o1只会总结这些思维链条。RLHFReinforcement learning with Human Feedback带有人工反馈的强化学习对于具有可验证输出的任务例如数学问题、事实问答AI的回答可以轻松评估。但对于像总结或创意写作这样没有单一“正确”答案的领域如何处理呢这就是人工反馈的作用所在——但是天真的强化学习方法是不可扩展的。让我们用一些任意数字来看一下朴素的方法。这需要十亿次人工评估这太昂贵、缓慢且不可扩展。因此一个更智能的解决方案是训练一个AI“奖励模型”来学习人类的偏好从而大大减少人工工作量。与绝对评分相比对响应进行排名也更容易且更直观。RLHF的优点可以应用于任何领域包括创意写作、诗歌、总结以及其他开放性任务。对输出进行排名比人工标签生成创意输出更容易。RLHF的缺点奖励模型是近似的——它可能无法完美反映人类的偏好。RL擅长利用奖励模型的漏洞——如果运行时间过长模型可能会利用这些漏洞生成荒谬的输出但仍获得高分。需要注意的是RLHF与传统的RL不同。对于可以进行经验验证的领域例如数学、编程RL可以无限运行并发现新的策略。而RLHF则更像是一个微调步骤用来将模型与人类的偏好对齐。在大模型时代我们如何有效的去学习大模型现如今大模型岗位需求越来越大但是相关岗位人才难求薪资持续走高AI运营薪资平均值约18457元AI工程师薪资平均值约37336元大模型算法薪资平均值约39607元。掌握大模型技术你还能拥有更多可能性• 成为一名全栈大模型工程师包括PromptLangChainLoRA等技术开发、运营、产品等方向全栈工程• 能够拥有模型二次训练和微调能力带领大家完成智能对话、文生图等热门应用• 薪资上浮10%-20%覆盖更多高薪岗位这是一个高需求、高待遇的热门方向和领域• 更优质的项目可以为未来创新创业提供基石。一直在更新更多的大模型学习和面试资料已经上传带到CSDN的官方了有需要的朋友可以扫描下方二维码免费领取【保证100%免费】一、AGI大模型系统学习路线很多人学习大模型的时候没有方向东学一点西学一点像只无头苍蝇乱撞下面是我整理好的一套完整的学习路线希望能够帮助到你们学习AI大模型。第一阶段 从大模型系统设计入手讲解大模型的主要方法第二阶段 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用第三阶段 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统第四阶段 大模型知识库应用开发以LangChain框架为例构建物流行业咨询智能问答系统第五阶段 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型第六阶段 以SD多模态大模型为主搭建了文生图小程序案例第七阶段 以大模型平台应用与开发为主通过星火大模型文心大模型等成熟大模型构建大模型行业应用。二、640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。三、AI大模型经典PDF书籍随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。四、AI大模型各大场景实战案例结语【一一AGI大模型学习 所有资源获取处无偿领取一一】所有资料 ⚡️ 朋友们如果有需要全套 《LLM大模型入门进阶学习资源包》扫码获取~