认知与基础

模型认知与基础专题：注意力机制、预训练、微调等大模型核心原理拆解。

往期专题

一共10篇文章

专题：第期

技术落地

注意力机制

注意力机制注意力机制（Attention）是整个 Transformer、大语言模型的灵魂。它就像系统架构中的调度算法，让模型能动态关注最重要的信息。为什么需要注意力机制？在深度学习出现之前，模型处理序列（文本）主要依赖循环神经网络（RNN, Recurrent Neural Network）或长短时记忆网络（LSTM, Long Short-Term Memory），但它们有几个致命局限：只能…...
- 探索X
- 1月11日
- 94
- 0
技术落地

预训练

预训练只有理解了预训练，才能真正明白大模型“聪明”的底层逻辑。预训练：让模型“懂世界”的阶段预训练（Pre-training, Pre-training）是大语言模型（LLM, Large Language Model）能力的根基，它决定了模型对语言、世界知识、逻辑推理、写作风格等最底层能力的上限。一句话总结：预训练 = 在海量文本上学习语言统计规律，让模型具备通用能力。为什么需要预训练？在正式…...
- 探索X
- 1月11日
- 2
- 0
技术落地

微调

微调微调（Fine-Tuning）：让模型适应你的任务与风格大语言模型（LLM, Large Language Model）的能力来自“预训练（Pre-training, 预训练）”，但能否变成真正可用的产品，取决于是否经过“微调（Fine-Tuning, Fine-Tuning）”。微调是让模型从“通用助手”变成“特定领域专家”的核心技术。如果把预训练比作打造一位博学多闻的通才，那么微调就是让…...
- 探索X
- 1月11日
- 4
- 0
技术落地

人类反馈-RL强化学习

人类反馈-RL强化学习 RLHF 不是让模型变聪明，而是让它更懂人、更安全、更可控。它是大模型“对齐”的关键。为什么需要 RLHF？人类反馈强化学习（RLHF, Reinforcement Learning from Human Feedback）是让大语言模型（LLM, Large Language Model）更符合人类偏好、更安全、更可控的关键技术。一个仅经过预训练的模型：只是在预测下一个 …...
- 探索X
- 1月11日
- 2
- 0
技术落地

模型训练的工程化路径

模型训练的工程化路径训练一个大模型，是现代软件工程最复杂、最考验协作与系统能力的实践。工程体系的成熟度，决定了 AI 能否真正落地。在 AI 基础设施的全景中，模型训练是最复杂、最考验工程体系的环节。它不仅仅是调参与算法的游戏，更是一场关于数据、算力与系统协作的“工程马拉松”。本文将从工程师视角，系统梳理大模型训练的关键阶段、核心挑战与架构演化路径，帮助读者理解——为什么训练一个模型，是现代软…...
- 探索X
- 1月11日
- 0
- 0
技术落地

机器学习基础

机器学习基础机器学习的本质，其实和云原生的自动化控制循环极为相似。机器学习（Machine Learning, ML）是现代人工智能（AI, Artificial Intelligence）的底层基石，就像 Kubernetes 是云原生体系的控制平面一样。如果把大语言模型（LLM, Large Language Model）看作今天的智能操作系统，那么机器学习就是支撑这套系统的调度逻辑、优化机…...
- 探索X
- 1月11日
- 0
- 0
技术落地

大模型技术全景

大模型技术全景 AI 大模型正在成为云原生工程师的“第二引擎”，重塑架构与协作范式。AI 大语言模型（LLM）正在成为云原生体系的第二引擎。过去十年，云原生（Cloud Native）解决了算力调度、可观测性与交付效率等问题；未来十年，AI 将在智能调度、自治系统与认知接口层面重塑工程边界。本节旨在帮助云原生工程师快速理解 AI 大模型技术体系的核心模块、关键能力、协作机制，以及如何与云原生架构融…...
- 探索X
- 1月11日
- 0
- 0
技术落地

大模型工作原理

大模型工作原理模型训练与推理：学习和应用在理解大模型（Large Language Model）的整体流程时，训练、微调和推理三者之间的关系尤为重要。下图为训练、微调与推理的流程示意图，可以帮助你理解各阶段的衔接关系。【iframe defaul_iframe_type】https://assets.jimmysong.io/images/book/ai-handbook/fundamental…...
- 探索X
- 1月11日
- 7
- 0
技术落地

Transformer

Transformer Transformer 是什么？Transformer 是所有现代大语言模型（LLM）的基础架构，就像 Kubernetes 之于云原生。它的出现彻底改变了自然语言处理（NLP, Natural Language Processing）领域。Transformer 主要解决了两个核心问题：如何理解一段话中哪些信息最重要？如何并行处理海量文本，不像循环神经网络（RNN, Re…...
- 探索X
- 1月11日
- 0
- 0
技术落地

KV 缓存

KV 缓存没有 KV Cache，LLM 推理速度会慢 100 倍。它是现代推理引擎的核心加速机制，也是工程优化的主战场。KV Cache 是什么？KV 缓存（KV Cache, Key-Value Cache）是大语言模型（LLM, Large Language Model）推理加速的关键技术。它的核心思想是：把历史 token 的 Key / Value 保存下来，在解码阶段复用，避免重复计…...
- 探索X
- 1月11日
- 0
- 0