已有域名怎么做网站住房和城乡建设部官网证件查询

已有域名怎么做网站,住房和城乡建设部官网证件查询,阿里云建站百度收录吗,企业内部管理系统本文介绍了如何使用Unsloth框架微调大语言模型#xff0c;以《伤寒论》数据集为例训练一个中医专家模型。Unsloth显著降低了微调的资源需求。文章涵盖了从环境配置、模型选择、数据准备到训练部署的完整流程#xff0c;为垂直领域模型微调提供了实用参考。 在实际应用中以《伤寒论》数据集为例训练一个中医专家模型。Unsloth显著降低了微调的资源需求。文章涵盖了从环境配置、模型选择、数据准备到训练部署的完整流程为垂直领域模型微调提供了实用参考。在实际应用中我们常常面临特定场景下的问题需求。此时通过指令微调可以让模型更好地适应这些具体任务从而提升模型的实用性和表现。比如在医疗健康领域医生希望让大模型更好地理解中医诊断和治疗的知识体系从而能够辅助分析病情、推荐中药方剂甚至自动生成病历摘要。又如在法律行业律师团队希望通过微调让大模型能够更准确地解读中国法律条文、判例和合同文本辅助法律检索和文书生成。此外在教育领域教师可以通过指令微调让模型更贴合本地教材内容自动批改作业、生成个性化学习建议。这些场景都需要针对特定任务和数据对大模型进行定制化微调以提升其在实际应用中的表现和价值。正好最近身体不适并且得到一本医疗秘籍《伤寒论》用Unsloth来微调一个垂直领域的模型出来。1. 关于Unsloth大型语言模型LLM的微调有很大的资源挑战如高昂的内存需求和漫长的训练时间。传统的微调方法可能需要数十小时才能完成一项任务并且常常导致内存不足问题 。这种特性限制了个人开发者和小型团队对 LLM 进行定制化和优化的能力。Unsloth 正是为了解决这些痛点而诞生的。它是一个专门为加速 LLM 微调并显著降低内存消耗而设计的 Python 框架 。Unsloth 实现了显著的性能提升同时保持了与 Hugging Face 生态系统的完全兼容性 。这使得用户即使在免费的 Colab GPU 或配备 GPU 的笔记本电脑等有限硬件上也能够高效地进行 LLM 微调 。2. Unsloth 的核心优势速度提升在Alpaca 数据集上进行了测试使用的 batch 大小为 2gradient accumulation steps 为 4rank 为 32并在所有线性层q、k、v、o、gate、up、down上应用了 QLoRAModelVRAMUnsloth speedVRAM reductionLonger contextHugging Face FA2Llama 3.3 (70B)80GB2x75%13x longer1xLlama 3.1 (8B)80GB2x70%12x longer1x测试结果显示两种模型在显存使用上均为80GB速度均提升了2倍。Llama 3.3的显存减少了超过75%能够处理的上下文长度提升了13倍而Llama 3.1的显存减少了超过70%上下文长度提升了12倍。API 简化Unsloth 提供了一个简洁的 API显著降低了 LLM 微调的复杂性 。它将模型加载、量化、训练、评估、保存、导出以及与 Ollama、llama.cpp 和 vLLM 等推理引擎的集成等所有工作流程进行了简化 。Hugging Face 生态系统兼容性Unsloth 是在 Hugging Face Transformers 库之上构建的这使其能够充分利用 Hugging Face 强大的生态系统同时添加自己的增强功能来简化微调过程 。它与 Hugging Face Hub、Transformers、PEFT 和 TRL 等组件完全兼容 。这意味着用户可以无缝地访问 Hugging Face 提供的丰富模型和数据集资源并利用 Unsloth 的优化进行训练。硬件兼容性与可访问性Unsloth 支持非常多的 NVIDIA GPU从 2018 年及以后发布的型号包括 V100、T4、Titan V、RTX 20、30、40 系列、A100 和 H100 等最低 CUDA 能力要求为 7.0。即使是 GTX 1070 和 1080 也能工作尽管速度较慢 。Unsloth 可以在 Linux 和 Windows 操作系统上运行 。广泛的模型支持Unsloth 支持所有 Transformer 风格的模型包括 Llama、DeepSeek、TTS、Qwen、Mistral、Gemma 等主流 LLM。它还支持多模态模型、文本到语音 (TTS)、语音到文本 (STT) 模型、BERT 模型以及扩散模型。动态量化Unsloth 引入了动态 4 位量化 (Dynamic 4-bit Quantization) 技术这是一种智能的量化策略通过动态选择不对某些参数进行量化从而在仅增加不到 10% VRAM 的情况下显著提高准确性 。社区的活跃从GitHub上可以看出他的受欢迎程度非常高目前已经43k颗星❝项目地址https://github.com/unslothai/unsloth3. 使用要求支持 Linux 和 Windows。支持 2018 年及以后的 NVIDIA 显卡包括 Blackwell RTX 50 系列。最低要求 CUDA 计算能力为 7.0如 V100、T4、Titan V、RTX 20、30、40 系列以及 A100、H100、L40 等。GTX 1070、1080 虽然可以使用但运行速度较慢。相关阅读一文说清楚CUDA环境GPU内存要求Model parametersQLoRA (4-bit) VRAMLoRA (16-bit) VRAM3B3.5 GB8 GB7B5 GB19 GB8B6 GB22 GB9B6.5 GB24 GB11B7.5 GB29 GB14B8.5 GB33 GB27B22GB64GB32B26 GB76 GB40B30GB96GB70B41 GB164 GB81B48GB192GB90B53GB212GB405B237 GB950 GB4. 安装 Unsloth# 初始化一个名为 demo-unsloth 的项目并指定 Python 版本为 3.11.9uv init demo-unsloth -p 3.11.9# 进入项目目录cd demo-unsloth# 创建虚拟环境uv venv# 激活虚拟环境Windows 下.venv\Scripts\activate# 安装 triton-windows要求版本3.3.1.post19uv pip install triton-windows3.3.1.post19# 安装支持 CUDA 12.6 的 PyTorch 及其相关库uv pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126安装unslothuv pip install unsloth5. 选择模型Unsloth 支持非常多的预训练模型包括 Llama、DeepSeek、TTS、Qwen、Mistral 和 Gemma 系列 LLM 3。在选择模型时需要注意模型名称的后缀。以unsloth-bnb-4bit结尾的模型表示它们是 Unsloth 动态 4 位量化模型与标准bnb-4bit模型相比这些模型在略微增加 VRAM 使用的情况下提供了更高的精度。https://docs.unsloth.ai/get-started/all-our-models我的显卡是RTX 2050显卡4GB显存我选一个比较小的版本 unsloth/Qwen2.5-1.5B-Instruct-bnb-4bit下载模型huggingface-cli download --resume-download unsloth/Qwen2.5-1.5B-Instruct-bnb-4bit --local-dir ./ckpts/qwen2.5-1.5b-instruct-bnb-4bit6. 数据集准备数据集的质量和格式直接决定了模型微调的效果。一个高质量的数据集不仅需要覆盖目标任务的核心内容还应保证问答对的准确性、完整性和多样性。此外数据集的规模也会影响模型的泛化能力数据量越大、覆盖面越广模型在实际应用中的表现通常会更好。因此在微调前应充分清洗、标注和检查数据确保其能够有效支撑下游任务的训练需求。因为要要训练一个老中医所以找了一本《伤寒论》,通过工具把他拆成问答对格式如下[ { Question: 伤寒一日巨阳受之会出现什么症状, Response: 伤寒一日巨阳受之会出现头项痛、腰脊强的症状。因为巨阳者诸阳之属也其脉连于风府为诸阳主气所以先受邪。 }, { Question: 三阴受病厥阴受之会出现什么症状, Response: 三阴受病若厥阴受之厥阴脉循阴器而络于肝会出现烦满而囊缩的症状。 若伤寒循常无变十二日厥阴病衰会出现囊纵、少腹微下的情况。 },]7. 开始微调7.1 引入依赖# 导入必要的库from unsloth import FastLanguageModel, is_bfloat16_supportedfrom transformers import TrainingArguments, EarlyStoppingCallbackfrom trl import SFTTrainerfrom datasets import load_dataset# 模型配置参数max_seq_length 2048 # 模型处理文本的最大序列长度支持长文本输入7.2 加载模型# 加载预训练模型和分词器model, tokenizer FastLanguageModel.from_pretrained( model_nameckpts/qwen2.5-1.5b-instruct-bnb-4bit, max_seq_lengthmax_seq_length, dtypeNone, # 自动检测最佳数据类型bfloat16或float16 load_in_4bitTrue, # 使用4bit量化加载模型大幅减少显存占用)7.3 加载数据集大型语言模型需要以特定的“提示风格”或“聊天模板”来接收输入以便它们能够正确理解任务、指令、输入和预期响应之间的关系。例如一个常用的提示风格是“请先阅读下方的任务指令再结合提供的上下文信息生成恰当的回复。### 指令{} ### 上下文{} ### 回复{}”有效的微调需要仔细关注输入格式因为它直接影响模型学习的内容和响应方式下面代码中加载我们的《伤寒论》数据集data/datasets-2025-08.json并使用formatting_data函数将其转换为 Unsloth 所需的格式此函数会结合输入和输出按照prompt_style进行格式化并添加EOS_TOKENEnd-of-Sentence TokenEOS_TOKEN对于避免模型生成重复内容至关重要。# 定义训练数据格式化模板# 使用中医专家角色设定专门针对《伤寒论》问答任务train_prompt_style 你是一位精通中医理论的专家特别擅长《伤寒论》的理论和实践应用。请根据《伤寒论》的经典理论准确回答以下问题。### 问题:{}### 回答:{}# 加载训练数据集# 从JSON文件加载伤寒论问答数据集包含问题和回答对dataset load_dataset(json, data_filesdata/datasets-2025-08.json, splittrain) def formatting_data(examples): 格式化数据集函数将问答对转换为训练格式 将原始的问题和回答对格式化为模型训练所需的文本格式 添加角色设定和结构化模板。 Args: examples: 包含Question、Response字段的数据样本字典 Returns: dict: 包含格式化后文本的字典键为text questions examples[Question] responses examples[Response] texts [] for q, r in zip(questions, responses): # 使用模板格式化每个问答对并添加结束标记 text train_prompt_style.format(q, r) tokenizer.eos_token texts.append(text) # print(f数据集: {texts}) return {text: texts}# 应用数据格式化函数dataset dataset.map(formatting_data, batchedTrue, num_proc1)# 数据集分割80%用于训练20%用于验证# 使用固定随机种子确保结果可复现train_test_split dataset.train_test_split(test_size0.2, seed3407)train_dataset train_test_split[train]eval_dataset train_test_split[test]print(f数据集加载完成 - 训练集: {len(train_dataset)} 条, 验证集: {len(eval_dataset)} 条)7.4 定义 LoRA# 添加LoRALow-Rank Adaptation权重配置# LoRA是一种高效的微调方法只训练少量参数即可适应新任务model FastLanguageModel.get_peft_model( model, r32, # LoRA矩阵的秩值越大表达能力越强但参数量也越多 target_modules[q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj, ], lora_alpha64, # LoRA缩放参数 lora_dropout0.1, # LoRA dropout率防止过拟合值越小正则化越弱 biasnone, # 偏置项处理方式none表示不训练偏置节省参数 use_gradient_checkpointingunsloth, # 使用Unsloth优化的梯度检查点支持超长序列 random_state3407, # 随机种子确保结果可复现 use_rsloraFalse, # 是否使用Rank Stabilized LoRA当前使用标准LoRA loftq_configNone, # LoftQ配置用于更精确的量化)7.5 使用SFTTrainer进行训练# 创建SFTSupervised Fine-Tuning训练器# 使用监督学习方式微调模型适用于问答任务trainer SFTTrainer( modelmodel, tokenizertokenizer, train_datasettrain_dataset, # 训练数据集 eval_dataseteval_dataset, # 验证数据集用于评估模型性能 dataset_text_fieldtext, # 数据集中文本字段的名称 max_seq_lengthmax_seq_length, # 最大序列长度 dataset_num_proc1, # 数据处理进程数设为1避免缓存冲突 packingFalse, # 是否使用序列打包短序列时可设为True提升5倍训练速度 callbacks[ EarlyStoppingCallback(early_stopping_patience3, early_stopping_threshold0.0005), # 早停机制防止过拟合 ], argsTrainingArguments( # 批次大小配置 per_device_train_batch_size2, # 每个GPU的训练批次大小 per_device_eval_batch_size2, # 每个GPU的验证批次大小 # 梯度累积配置 gradient_accumulation_steps8, # 梯度累积步数有效批次大小 batch_size * gradient_accumulation_steps # 学习率配置 warmup_ratio0.15, # 学习率预热比例前15%的步数用于预热 learning_rate2e-5, # 学习率控制参数更新步长 # 训练轮数和步数配置 # max_steps 200, # 最大训练步数可选 num_train_epochs5, # 训练轮数给模型充分学习机会 # 精度配置 fp16not is_bfloat16_supported(), # 是否使用16位浮点精度训练 bf16is_bfloat16_supported(), # 是否使用bfloat16精度训练更稳定 # 日志和监控配置 logging_steps2, # 每2步记录一次日志 eval_steps10, # 每10步进行一次验证评估 eval_strategysteps, # 按步数进行验证 # 模型保存配置 save_steps20, # 每20步保存一次模型检查点 save_strategysteps, # 按步数保存模型 save_total_limit5, # 最多保存5个检查点节省存储空间 # 最佳模型配置 load_best_model_at_endTrue, # 训练结束时自动加载最佳模型 metric_for_best_modeleval_loss, # 使用验证损失作为最佳模型指标 greater_is_betterFalse, # 损失越小越好 # 正则化配置 weight_decay0.001, # 权重衰减防止过拟合 max_grad_norm1.0, # 梯度裁剪阈值防止梯度爆炸 # 学习率调度配置 lr_scheduler_typecosine, # 使用余弦退火学习率调度器 # 优化器配置 optimadamw_8bit, # 使用8位AdamW优化器节省显存 # 数据加载配置 dataloader_num_workers0, # 数据加载器工作进程数设为0避免多进程冲突 # 输出配置 output_diroutputs, # 模型输出和检查点保存目录 # 随机种子 seed3407, # 随机种子确保结果可复现 ),)# 开始训练train_stats trainer.train()print(f训练完成训练损失: \n {train_stats})7.6 模型保存Unsloth 提供了多种保存微调后模型的方法每种方法都有其特定的用途save_pretrained此方法仅保存 LoRA 适配器权重。这些文件通常很小只包含模型修改部分包括adapter_config.json和adapter_model.safetensors。这种方法适用于需要灵活切换不同 LoRA 适配器或节省存储空间的情况。save_pretrained_gguf这是一种新的优化格式GGUF支持更好的元数据处理。文件同样较小且经过量化包括model.gguf和tokenizer.json。Unsloth 的动态量化在 GGUF 导出中通过智能的层特定量化策略进一步增强了模型性能和效率。# 保存微调后的模型权重# 只保存LoRA权重原始模型权重保持不变model.save_pretrained(ckpts/qwen2.5-1.5b-instruct-bnb-4bit-lora)# 保存分词器tokenizer以便后续加载和推理时使用tokenizer.save_pretrained(ckpts/qwen2.5-1.5b-instruct-bnb-4bit-lora)## model.save_pretrained_gguf(ckpts/qwen2.5-1.5b-instruct-bnb-4bit-gguf, tokenizer, quantization_methodq4_k_m)7.7 训练过程开始时显示基础信息(()) Unsloth 2025.7.8: Fast Qwen3 patching. Transformers: 4.53.3. \\ /| NVIDIA GeForce RTX 2050. Num GPUs 1. Max memory: 4.0 GB. Platform: Windows.O^O/ \_/ \ Torch: 2.7.1cu126. CUDA: 8.6. CUDA Toolkit: 12.6. Triton: 3.3.1\ / Bfloat16 TRUE. FA [Xformers 0.0.31.post1. FA2 False] -____- Free license: http://github.com/unslothai/unsloth# 批注系统配置信息# - 使用RTX 2050显卡4GB显存# - 支持bfloat16精度训练# - 使用Xformers优化注意力机制再给出微调的配置(()) Unsloth - 2x faster free finetuning | Num GPUs used 1 \\ /| Num examples 353 | Num Epochs 5 | Total steps 115O^O/ \_/ \ Batch size per device 2 | Gradient accumulation steps 8\ / Data Parallel GPUs 1 | Total batch size (2 x 8 x 1) 16 -____- Trainable parameters 20,185,088 of 616,235,008 (3.28% trained)# 批注训练配置详情# - 总样本数353个# - 训练轮数5轮# - 总步数115步# - 有效批次大小162×8×1# - 可训练参数3.28%20M/616M后面是微调细节{loss: 2.1017, grad_norm: 3.180413007736206, learning_rate: 1.995283421166614e-05, epoch: 1.05}{loss: 2.2702, grad_norm: 2.8307971954345703, learning_rate: 1.9869167087338908e-05, epoch: 1.14}{loss: 2.0511, grad_norm: 3.1757583618164062, learning_rate: 1.9744105246469264e-05, epoch: 1.23}{loss: 2.1853, grad_norm: 2.5234906673431396, learning_rate: 1.957817324187987e-05, epoch: 1.32}{loss: 1.8145, grad_norm: 2.9424679279327393, learning_rate: 1.937206705006344e-05, epoch: 1.32}8. 测试微调的模型模型测试代码如下from unsloth import FastLanguageModelfrom unsloth.chat_templates import get_chat_templatefrom transformers import TextStreamerimport torchmax_seq_length 512model, tokenizer FastLanguageModel.from_pretrained( model_nameckpts/qwen2.5-1.5b-instruct-bnb-4bit-lora, max_seq_lengthmax_seq_length, dtypeNone, load_in_4bitTrue,)# 启用unsloth的2x更快推理优化print(启用推理优化...)FastLanguageModel.for_inference(model)print(模型加载完成)# 定义训练数据格式化字符串模板train_prompt_style 你是一位精通中医理论的专家特别擅长《伤寒论》的理论和实践应用。请根据《伤寒论》的经典理论准确回答以下问题。### 问题:{}question 什么是太阳病formatted_prompt train_prompt_style.format(question)print(f格式化后的提示文本:\n-------------------\n{formatted_prompt}\n-------------------)print(type(tokenizer)) # class transformers.models.qwen2.tokenization_qwen2_fast.Qwen2TokenizerFastinputs tokenizer([formatted_prompt], return_tensorspt, max_lengthmax_seq_length).to(cuda)print(finputs: \n-------------------\n{inputs}\n-------------------)# 生成回答流式输出with torch.no_grad(): outputs model.generate( # 输入序列的token ID inputs[input_ids], # 注意力掩码指示哪些位置是有效输入 attention_maskinputs[attention_mask], # 生成文本的最大长度限制 max_lengthmax_seq_length, # 启用KV缓存加速生成过程 use_cacheTrue, # 温度参数控制生成的随机性 # 值越低生成越确定值越高生成越随机 temperature0.8, # 核采样参数只从累积概率达到90%的词中选择 # 避免选择概率极低的词提高生成质量 top_p0.9, # 启用采样模式而不是贪婪解码 # 贪婪解码总是选择概率最高的词容易产生重复 do_sampleTrue, # 设置填充标记ID用于处理变长序列 pad_token_idtokenizer.eos_token_id, # 设置结束标记ID告诉模型何时停止生成 eos_token_idtokenizer.eos_token_id, # 重复惩罚参数防止模型重复生成相同内容 # 1.1表示重复词的生成概率降低10% repetition_penalty1.1 )print(type(outputs))print(outputs)answer tokenizer.decode(outputs[0], skip_special_tokensTrue)print(\n * 80)print(answer)print(\n * 80)print(测试完成)想入门 AI 大模型却找不到清晰方向备考大厂 AI 岗还在四处搜集零散资料别再浪费时间啦2025 年AI 大模型全套学习资料已整理完毕从学习路线到面试真题从工具教程到行业报告一站式覆盖你的所有需求现在全部免费分享扫码免费领取全部内容​一、学习必备100本大模型电子书26 份行业报告 600 套技术PPT帮你看透 AI 趋势想了解大模型的行业动态、商业落地案例大模型电子书这份资料帮你站在 “行业高度” 学 AI1. 100本大模型方向电子书2. 26 份行业研究报告覆盖多领域实践与趋势报告包含阿里、DeepSeek 等权威机构发布的核心内容涵盖职业趋势《AI 职业趋势报告》《中国 AI 人才粮仓模型解析》商业落地《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》领域细分《AGI 在金融领域的应用报告》《AI GC 实践案例集》行业监测《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。3. 600套技术大会 PPT听行业大咖讲实战PPT 整理自 2024-2025 年热门技术大会包含百度、腾讯、字节等企业的一线实践安全方向《端侧大模型的安全建设》《大模型驱动安全升级腾讯代码安全实践》产品与创新《大模型产品如何创新与创收》《AI 时代的新范式构建 AI 产品》多模态与 Agent《Step-Video 开源模型视频生成进展》《Agentic RAG 的现在与未来》工程落地《从原型到生产AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。二、求职必看大厂 AI 岗面试 “弹药库”300 真题 107 道面经直接抱走想冲字节、腾讯、阿里、蔚来等大厂 AI 岗这份面试资料帮你提前 “押题”拒绝临场慌1. 107 道大厂面经覆盖 Prompt、RAG、大模型应用工程师等热门岗位面经整理自 2021-2025 年真实面试场景包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题每道题都附带思路解析2. 102 道 AI 大模型真题直击大模型核心考点针对大模型专属考题从概念到实践全面覆盖帮你理清底层逻辑3. 97 道 LLMs 真题聚焦大型语言模型高频问题专门拆解 LLMs 的核心痛点与解决方案比如让很多人头疼的 “复读机问题”三、路线必明 AI 大模型学习路线图1 张图理清核心内容刚接触 AI 大模型不知道该从哪学起这份「AI大模型 学习路线图」直接帮你划重点不用再盲目摸索路线图涵盖 5 大核心板块从基础到进阶层层递进一步步带你从入门到进阶从理论到实战。L1阶段:启航篇丨极速破界AI新时代L1阶段了解大模型的基础知识以及大模型在各个行业的应用和分析学习理解大模型的核心原理、关键技术以及大模型应用场景。L2阶段攻坚篇丨RAG开发实战工坊L2阶段AI大模型RAG应用开发工程主要学习RAG检索增强生成包括Naive RAG、Advanced-RAG以及RAG性能评估还有GraphRAG在内的多个RAG热门项目的分析。L3阶段跃迁篇丨Agent智能体架构设计L3阶段大模型Agent应用架构进阶实现主要学习LangChain、 LIamaIndex框架也会学习到AutoGPT、 MetaGPT等多Agent系统打造Agent智能体。L4阶段精进篇丨模型微调与私有化部署L4阶段大模型的微调和私有化部署更加深入的探讨Transformer架构学习大模型的微调技术利用DeepSpeed、Lamam Factory等工具快速进行模型微调并通过Ollama、vLLM等推理部署框架实现模型的快速部署。L5阶段专题集丨特训篇 【录播课】四、资料领取全套内容免费抱走学 AI 不用再找第二份不管你是 0 基础想入门 AI 大模型还是有基础想冲刺大厂、了解行业趋势这份资料都能满足你现在只需按照提示操作就能免费领取扫码免费领取全部内容​2025 年想抓住 AI 大模型的风口别犹豫这份免费资料就是你的 “起跑线”