一共44篇文章
专题：第1期
-
AI 原生基础设施概览
AI 原生基础设施概览AI 原生基础设施正推动云原生与智能化深度融合，成为新一代应用创新的坚实基石。理解其架构与趋势，是每位云原生开发者迈向 AI 时代的关键一步。AI Infra 全景图与核心组件AI Infra（AI 原生基础设施）是支撑生成式 AI 应用的新一代技术栈，融合了模型推理引擎、数据检索组件和云原生技术，为智能应用提供高效、可扩展的运行环境。从宏观上看，AI Infra 栈主要包括…...- 0
- 0
-
MLOps vs AIOps
MLOps vs AIOpsMLOps 和 AIOps 的本质区别是什么？理解它们的融合趋势，是 AI 平台工程的关键。在实际工作中，MLOps（Machine Learning Operations，机器学习工程运维） 和 AIOps（Artificial Intelligence for IT Operations，智能运维） 是两个极为关键但经常被混用的概念。本文将从体系定位、核心目标、关键…...- 0
- 0
-
Hugging Face LoRA 微调
Hugging Face 的 Transformers 库结合 PEFT（Parameter-Efficient Fine-Tuning，参数高效微调）提供了便捷的接口来对大语言模型进行参数高效微调（PEFT）。其中，LoRA（Low-Rank Adaptation，低秩适配）是一种流行的 PEFT 方法，通过在预训练模型的部分权重上添加低秩矩阵实现微调，而非调整原模型的大量参数。这样可以大幅减少…...- 2
- 0
-
AI 原生应用架构简介
AI 原生应用（AI‑Native Applications）是一类以大语言模型（LLM）为认知与推理核心，并与云原生工程协同构建的智能系统。与传统嵌入式 AI 不同，AI 原生应用将模型能力上升为系统级驱动：模型负责理解与推理，Agent/工作流负责编排与执行，检索增强生成（RAG）、长期记忆与提示词工程负责保证上下文与知识的可用性，工具调用和网关则负责与外部系统和实时数据联通。其设计目标是把大…...- 2
- 0
-
SGLang 工程化与性能优化
作为一名具备部署和调优能力的 AI 工程师，本文将深入探讨 SGLang（Structured Generation Language）的工程实践与性能优化。我们将分别从推理服务能力、部署方案、性能评估与优化方法、常见错误与排障以及与 vLLM 的差异化对比五个方面展开。本指南旨在帮助您在实际项目中充分发挥 SGLang 的高性能推理与可控生成优势。推理服务能力详解SGLang 集“前端 DSL …...- 10
- 0
-
PyTorch 入门与性能分析
作为云原生从业者，大多数时间我们围绕着 Kubernetes、Istio、容器和微服务展开工作，但随着 AI 落地场景越来越多，我们的基础设施正逐渐支撑起机器学习训练和推理任务。本文从云原生工程师的视角出发，系统梳理 PyTorch（深度学习框架 PyTorch）/TensorFlow 的基本训练与推理逻辑，提供可运行的示例，并通过 torch.profiler + TensorBoard 分析性…...- 2
- 0