AI 原生基础设施
一共46篇文章
专题：第1期
-
MLOps vs AIOps
MLOps vs AIOpsMLOps 和 AIOps 的本质区别是什么？理解它们的融合趋势，是 AI 平台工程的关键。在实际工作中，MLOps（Machine Learning Operations，机器学习工程运维） 和 AIOps（Artificial Intelligence for IT Operations，智能运维） 是两个极为关键但经常被混用的概念。本文将从体系定位、核心目标、关键…...- 0
- 0
-
Hugging Face LoRA 微调
Hugging Face 的 Transformers 库结合 PEFT（Parameter-Efficient Fine-Tuning，参数高效微调）提供了便捷的接口来对大语言模型进行参数高效微调（PEFT）。其中，LoRA（Low-Rank Adaptation，低秩适配）是一种流行的 PEFT 方法，通过在预训练模型的部分权重上添加低秩矩阵实现微调，而非调整原模型的大量参数。这样可以大幅减少…...- 0
- 0
-
AI 原生应用架构简介
AI 原生应用（AI‑Native Applications）是一类以大语言模型（LLM）为认知与推理核心，并与云原生工程协同构建的智能系统。与传统嵌入式 AI 不同，AI 原生应用将模型能力上升为系统级驱动：模型负责理解与推理，Agent/工作流负责编排与执行，检索增强生成（RAG）、长期记忆与提示词工程负责保证上下文与知识的可用性，工具调用和网关则负责与外部系统和实时数据联通。其设计目标是把大…...- 0
- 0
-
SGLang 工程化与性能优化
作为一名具备部署和调优能力的 AI 工程师，本文将深入探讨 SGLang（Structured Generation Language）的工程实践与性能优化。我们将分别从推理服务能力、部署方案、性能评估与优化方法、常见错误与排障以及与 vLLM 的差异化对比五个方面展开。本指南旨在帮助您在实际项目中充分发挥 SGLang 的高性能推理与可控生成优势。推理服务能力详解SGLang 集“前端 DSL …...- 0
- 0
