大连 网站1688精品货源网站入口

大连 网站,1688精品货源网站入口,wordpress登录名,搜索引擎推广和优化方案编译者摘要#xff1a;本文提出ChaosEater—— 一款基于大语言模型#xff08;LLMs#xff09; 的全自动化混沌工程#xff08;CE#xff09;系统#xff0c;旨在低成本帮助用户构建高弹性的Kubernetes#xff08;K8s#xff09;软件系统#xff1b;该系统通过预定义智…编译者摘要本文提出ChaosEater—— 一款基于大语言模型LLMs的全自动化混沌工程CE系统旨在低成本帮助用户构建高弹性的KubernetesK8s软件系统该系统通过预定义智能体工作流将 CE 的 “假设定义、故障实验、结果分析、系统改进” 全周期拆解为细分任务并分配给不同角色的 LLM 智能体结合Validation as CodeVaC和Chaos Mesh工具实现自动化执行通过对小型系统 NGINX单周期成本 **$0.21**、耗时11分钟和大型电商系统SOCKSHOP单周期成本**$0.84**、耗时25 分钟的案例研究验证ChaosEater 能稳定完成合理 CE 周期NGINX 5 次运行全成功SOCKSHOP 4 次成功且经人类工程师和 3 种 LLMGPT-4o、Claude Sonnet 3.5、Gemini Pro 1.5定性验证有效其核心贡献为首个实现 CE 全周期自动化的 LLM 系统、开源全部资源、完成定量成本 / 时间与定性流程有效性评估。一、研究背景与动机混沌工程CE定义通过主动向分布式系统注入故障测试系统弹性、发现薄弱点避免生产环境故障的工程技术标准周期含 4 阶段假设→实验→分析→改进。传统 CE 的痛点现有工具如 Chaos Monkey、AWS FIS仅自动化 “实验执行” 和 “指标收集”但假设定义、实验规划、系统改进仍需手动手动流程耗力且需 “分布式系统 CE 软件工程” 多领域 expertise导致成本高、门槛高。LLM 的解决潜力LLM 在自然语言处理、软件工程代码生成 / 测试 / 调试、网络运维等领域表现突出且已有研究探索其在故障根因分析、日志解析等局部运维任务的应用为 CE 全周期自动化提供可能。二、ChaosEater 系统设计ChaosEater 通过预定义智能体工作流将 CE 全周期拆解为 6 个阶段由不同角色的 LLM 智能体协作完成核心目标是自动化 K8s 系统的 CE 流程。阶段核心任务关键技术 / 工具0. 预处理Pre-processing1. 通过 Skaffold 部署 K8s 系统2. 补充输入上下文K8s 清单总结、潜在弹性问题3. 过滤有害指令Skaffold、K8s API1. 假设Hypothesis1. 定义稳态生成Validation as CodeVaC脚本Python/k6验证可测量指标如 Pod 数量、响应时间2. 设计故障场景从 Chaos Mesh 支持的故障中选择细化参数故障范围 / 强度VaC、Chaos Mesh2. 实验Experiment1. 规划三阶段流程预验证正常态 VaC→故障注入Chaos Mesh→后验证恢复态 VaC2. 生成 Chaos Mesh 工作流清单3. 执行实验Chaos Mesh、VaC 脚本3. 分析Analysis1. 检查 VaC 脚本结果全通过则结束周期否则分析故障原因2. 生成含 “原因 对策” 的分析报告LLM 智能体日志分析4. 改进Improvement1. 重配置 K8s 清单增删改资源逐步提升冗余2. 循环 “实验→分析→改进” 至假设满足改进循环LLM 智能体配置优化5. 后处理Post-processing1. 生成 CE 周期总结2. 输出优化后的 K8s 清单 Skaffold 配置LLM 智能体总结生成三、案例研究通过 2 个 K8s 系统验证 ChaosEater 的有效性实验使用GPT-4o-2024-08-06温度 0每个系统执行 5 次单 CE 周期。3.1 目标系统配置NGINX小型系统2 个 K8s 清单Pod.ymlService.yml故意设restartPolicyNeverPod 故障后无法重启弹性缺陷。SOCKSHOP大型电商系统29 个 K8s 清单除前端 Deploymentfront-end-dep.yml设 1 副本外其余 Deployment 设 2 副本前端弹性缺陷。3.2 定量结果成本与时间目标系统指标类型总消耗预处理假设阶段实验阶段分析阶段改进阶段后处理NGINX输入 tokens59k2.6k25k13k4.4k5.5k8.2k输出 tokens5.9k0.5k2.5k1.7k0.6k0.2k0.4kAPI 成本$0.210.010.090.050.020.020.02时间11min21s2.6min4.4min50s12s21sSOCKSHOP输入 tokens284k30k150k57k14k15k18k输出 tokens13k5.7k3.8k1.8k0.7k0.6k0.5kAPI 成本$0.840.130.410.160.040.040.05时间25min4.6min4.3min3.3min36s4.3min21s3.3 稳定性与定性验证稳定性5 次运行均无运行时错误NGINX 5/5 成功完成配置优化SOCKSHOP 4/5 成功1 次未优化但完成有效 CE 周期。定性验证选取 1 次运行结果由 2 名人类工程师 3 种 LLMGPT-4o、Claude Sonnet 3.5、Gemini Pro 1.5按 5 分制评估≥3 为正面所有阶段评分均超阈值确认 CE 流程合理。四、结论、局限性与未来工作核心结论ChaosEater 实现了 CE 全周期自动化能以低 cost$0.2-0.8、短时间11-25min构建 K8s 系统弹性验证了 LLM 驱动 CE 的可行性。局限性安全风险仅可部署于开发环境优化范围窄仅支持 K8s 清单重配置不覆盖前端 / 应用 / 底层代码漏洞发现局限单 CE 周期内漏洞探索能力有限。未来工作安全增强控制故障影响范围增加高层监控系统优化扩展支持前端代码HTML/CSS/JS、应用代码Python、底层代码Terraform重配置长期探索多 CE 周期迭代优化假设适配系统状态变化。五、主要贡献业界首个实现 CE 全周期自动化的 LLM 系统为系统弹性改进全自动化提供可行性证据开源 ChaosEater 全部资源https://github.com/ntt-dkiku/chaos-eater为后续研究提供基础完成定量成本 / 稳定性与定性流程有效性评估明确系统潜力、局限与未来方向。六. 关键问题QA问题 1ChaosEater 通过哪些核心设计实现混沌工程CE全周期的自动化答ChaosEater 通过 “智能体工作流 LLM 分工 专用工具集成” 实现全自动化核心设计包括 3 点预定义 agentic 工作流将 CE 的 “假设 - 实验 - 分析 - 改进” 周期拆解为 “预处理→假设→实验→分析→改进→后处理”6 个阶段确保流程系统性LLM 智能体分工为每个阶段的细分任务分配特定角色的 LLM 智能体如假设阶段的 “稳态定义智能体”“故障设计智能体”分析阶段的 “故障根因分析智能体”无需额外微调 LLM专用技术与工具集成通过Validation as CodeVaC实现稳态验证自动化生成 Python/k6 脚本借助Chaos Mesh实现故障注入与实验执行自动化结合Skaffold完成 K8s 系统部署形成端到端自动化闭环。问题 2案例研究中ChaosEater 在成本、时间效率和稳定性上的具体表现如何是否能体现 “低成本” 优势答表现如下且显著体现 “低成本” 优势成本与时间小型系统 NGINX单 CE 周期成本 **$0.21**耗时11 分钟大型系统 SOCKSHOP29 个 K8s 清单单周期成本 **$0.84**耗时25 分钟即使 SOCKSHOP 资源数量是 NGINX 的 10 倍以上成本仅增加 4 倍、时间增加 2 倍远低于人类工程师手动执行的成本无统计数据但直观更低。稳定性5 次重复运行均无运行时错误NGINX 5/5 成功完成配置优化修复restartPolicy缺陷SOCKSHOP 4/5 成功优化修复前端副本数缺陷1 次未优化但仍完成有效 CE 周期稳定性可靠。综上无论是小型还是大型 K8s 系统ChaosEater 均以极低的时间和 monetary 成本完成 CE 周期“低成本” 优势明显。问题 3ChaosEater 当前存在哪些关键局限性未来将通过哪些方向解决这些问题答当前局限性与对应解决方案如下表局限性未来解决方向1. 安全风险仅可部署于开发环境无法用于生产环境1. 控制故障影响范围避免生产级破坏2. 增加高层监控系统持续监督 ChaosEater 运行状态2. 优化范围窄仅支持 K8s 清单重配置不覆盖前端代码HTML/CSS/JS、应用代码Python、底层代码Terraform扩展优化能力将重配置范围覆盖前端、应用、底层代码实现系统弹性的全栈优化3. 漏洞发现局限单 CE 周期内仅能探索有限漏洞无法适配系统状态变化实现多 CE 周期迭代LLM 智能体基于前一周期结果优化假设动态适配系统状态变化提升长期漏洞探索能力如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。天道酬勤你越努力就会成为越优秀的自己。如果你能在15天内完成所有的任务那你堪称天才。然而如果你能完成 60-70% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】