stable diffusion的介绍：本地部署到出图实战指南

第一次被 Stable Diffusion 真正震住，是 2023 年冬天的一个凌晨。我在一台二手 RTX 3060 上敲了几行 Python，四分多钟后屏幕上出现了一张雾天港口的老照片——不是我拍的，也不是谁拍的，是模型凭空"想"出来的。那种感觉很奇妙，也有点不真实。

两年多过去，我在这套工具链上踩的坑足够写满一个笔记本：显存爆过、模型权重下错过、提示词写了三百字结果出来一团糊。所以这篇 stable diffusion 的介绍，我不打算再复述一遍官方文档，而是想讲清楚三件事——它的技术底子到底是什么，一个新手该怎么上手，以及在 2025 年这个时间点，它还值不值得你花时间折腾。

核心结论摘要：Stable Diffusion 是 2022 年 8 月由 Stability AI 等机构开源的潜在扩散模型，它把图像生成搬到压缩后的潜空间完成，让 4GB 显存的消费级显卡也能出图。它真正的优势不是画质天花板，而是可本地部署、可自由微调、插件生态最完整。

stable diffusion的介绍：它到底解决了什么问题

Stable Diffusion 是指一类以潜在扩散（Latent Diffusion）为骨干的开源文生图系统。名字里的 "Stable" 来自开发方 Stability AI，"Diffusion" 则点明了技术路线：从一团纯噪声出发，一步步去噪，最终"显影"出一张图。

扩散模型本身不算新东西，2020 年的 DDPM 论文就把数学框架讲明白了。真正卡住所有人的是算力——在 512×512 的像素空间里直接做去噪，一次完整推理要几十秒，想批量生产连 A100 都烧不起。

慕尼黑大学 CompVis 组的 Robin Rombach 团队换了个思路。他们先训练一个 VAE（变分自编码器），把 512×512×3 的图片压成 64×64×4 的潜变量——数据量降到原来的约 1/48，再在这个"缩略图"上做扩散。这就是 2021 年 12 月提交到 arXiv 的《High-Resolution Image Synthesis with Latent Diffusion Models》（arXiv:2112.10752，后收录于 CVPR 2022）的核心贡献，也是后来所有"能在自己电脑上跑"的文生图模型的技术起点。

这个压缩到底省了多少？论文里给的数据是，潜空间扩散的推理速度比像素空间快约 2.7 倍，训练成本低了一个数量级。落到实际体验上：Stable Diffusion 1.5 的 UNet 只有约 8.6 亿参数，半精度加载后显存占用不到 4GB。我在 3060 12G 上跑 512×512、25 步采样，单张耗时大概 4 到 6 秒——这个数字是它能在开源社区爆发的真正原因。

不过话说回来，1.5 的画质放到今天已经明显落后了。Stability AI 在 2024 年 3 月发布 SD3 论文（arXiv:2403.03206）时改用了 MMDiT 架构，把文本 token 和图像 token 塞进同一个 Transformer 里处理，文字渲染能力一下子追了上来。代价是模型体积从 2GB 出头涨到 4GB 以上，8GB 显存的卡开始吃力。进步和门槛，几乎总是绑在一起出现。

潜空间压缩到底省了什么

用一个不太严谨的比喻：传统扩散像是拿 100 万像素的原始底片逐格擦洗，而潜在扩散是先做一张缩略图，在缩略图上改好了再放大还原。改缩略图当然快得多，而且因为 VAE 学到的是语义层面的压缩，放大回去的细节损失比想象中可控。

核心功能与版本差异：一张表看懂它现在能做什么

如果你只把 Stable Diffusion 理解成"输入文字出图片"，那大概只用到它 20% 的能力。它真正的护城河是围绕基础模型长出来的那一圈工具。

文生图是基本功，但配合负面提示词和 CFG scale 调节，可控性比多数闭源产品高得多。图生图允许你给一张参考图加噪再重绘，重绘幅度（denoising strength）调到 0.3 是微调，调到 0.8 基本就是重新画一张。Inpainting 可以只改画面里的一块区域，我做过一组电商产品图，把商品背景从白墙换成木质桌面，一次只重绘蒙版区域，其余像素原封不动。

真正让专业用户留下来的是 ControlNet。它能把姿态骨架、深度图、线稿、边缘检测图作为额外条件喂给模型，等于给了你一个"构图遥控器"。给角色设定做三视图的时候，没有 ControlNet 基本靠运气，有了它，同一姿势换十套服装只需要跑十次推理。

再往上一层是 LoRA（低秩适配）。一个 LoRA 文件通常只有几十到两百多 MB，通过在 UNet 的注意力层里插入小矩阵来微调风格或人物。社区里一个画风 LoRA 的训练成本，用 3090 大概两三个小时。这是闭源服务完全给不了的自由度。

| 版本 | 发布时间 | 基础模型规模 | 建议显存 | 我的主观评价 | | --- | --- | --- | --- | --- | | SD 1.5 | 2022 年 10 月 | UNet 约 8.6 亿参数 | 4GB 起 | 生态最全，LoRA 资源海量，但画质已显老 | | SDXL 1.0 | 2023 年 7 月 | 约 35 亿参数（base + refiner） | 8GB 起 | 构图和细节明显更好，出图速度慢一倍 | | SD 3.5 Large | 2024 年 10 月 | 约 80 亿参数 | 12GB 起 | 文字渲染强，但 LoRA 生态还追不上 1.5 |

选哪个？我的建议比较反直觉：如果你是新手想学流程，从 SD 1.5 或者基于它的 Forge 整合包开始。不是因为画质好，而是因为资料最多、报错最好查、LoRA 最好找。等你把采样器、CFG、ControlNet 这些概念摸熟了，再换 SDXL 或者 Flux，迁移成本很低。一上来就冲着 SD 3.5 Large 去，你大概率会卡在显存和模型下载上，然后放弃。

关于扩展工具，VergeX 的 AI 工具导航 里整理过一批常用的模型下载站和 LoRA 资源站，比在搜索引擎里翻半天效率高不少。

我在一台 3060 上跑通 Stable Diffusion 的全过程

先说结论：最省心的路径不是 diffusers，而是 ComfyUI 的桌面整合包。这个判断来自我自己的经历——2023 年我第一次装 AUTOMATIC1111 WebUI，光 Python 版本冲突就折腾了三个小时，最后发现是系统里装了三个不同版本的 Python。

对普通用户，我推荐这个顺序：

1. **想快速出图**：装 ComfyUI 桌面版或者 Forge 整合包，开箱即用，不用碰命令行
2. **想理解原理**：用 Hugging Face 的 diffusers 库跑最小脚本，代码短，每一行都能看明白
3. **想做批量化生产**：还是回到 ComfyUI，用节点搭工作流，一次配置反复复用

第二条路最值得走一遍。下面这段代码是我调过很多次的版本，6GB 显存的卡也能跑起来：

import torch from diffusers import StableDiffusionPipeline

半精度加载能把显存占用压到 4GB 左右，6GB 显存的卡也够用

pipe = StableDiffusionPipeline.from_pretrained( "stable-diffusion-v1-5/stable-diffusion-v1-5", torch_dtype=torch.float16 ).to("cuda")

提示词按「主体 + 环境 + 风格 + 镜头」排列，模型更容易抓住重点

prompt = "an old fisherman mending nets, morning fog, 35mm film grain, medium shot"

25 步是速度和质量比较平衡的档位，CFG 7.5 属于默认稳妥值

image = pipe(prompt, num_inference_steps=25, guidance_scale=7.5).images[0] image.save("fisherman.png")

踩过的坑也列一下，这些报错信息搜索引擎里都能查到，但知道方向能省很多时间：

• **CUDA out of memory**：先降分辨率到 512×512，再考虑开 `enable_attention_slicing()`
• **出图全是噪声**：多半是 dtype 设成了 float32 但加载了 fp16 权重，检查 `torch_dtype`
• **下载卡在 99%**：Hugging Face 在国内访问不稳，设置 `HF_ENDPOINT` 镜像环境变量就能解决
• **画面出现人像被涂黑**：安全检查器误判，本地调试可以关闭，但别拿去生成要发布的内容

坦白讲，第一次跑通的时候我并不兴奋，因为那张图糊得厉害。真正让我开始上瘾的，是发现改一个词的权重比改十个形容词更有效——这个认知只有自己动过手才会有。具体来说，`(foggy morning:1.3)` 这种加权写法对画面的影响，比在提示词里堆三个 "very foggy" 强得多。

横向对比：Stable Diffusion、Midjourney、Flux 该选谁

这是个我被问过不下五十次的问题。答案取决于你到底想干什么，而不是哪个模型跑分高。

| 维度 | Stable Diffusion | Midjourney | FLUX.1 | | --- | --- | --- | --- | | 部署方式 | 本地 / 云端均可 | 仅云端 | 本地 / 云端均可 | | 是否开源 | 完全开源 | 闭源 | dev 版本非商用授权 | | 上手门槛 | 高 | 低 | 中等 | | 风格控制力 | 极强（ControlNet + LoRA） | 较弱，依赖提示词 | 强 | | 单张边际成本 | 电费 | 订阅制 | 本地电费 | | 数据隐私 | 完全本地，不出内网 | 需上传 | 可本地 | | 商业授权 | 依具体版本而定 | 按订阅条款 | dev 版不可商用 |

FLUX.1 由 Black Forest Labs 在 2024 年 8 月发布，团队核心成员来自原 Stable Diffusion 开发团队，某种程度上算是"精神续作"。它在人体结构和文字渲染上确实比 SDXL 更稳，我测试过同一组提示词，Flux 的手部错误率明显更低。

但我的立场很明确：如果你的产出需要稳定的风格一致性和角色一致性，Stable Diffusion 这条线目前仍然是最优解。原因不在于模型多强，而在于 LoRA、ControlNet、IP-Adapter 这些周边工具已经把"控制"这件事做到了一定量级，而竞品要么不给接口，要么给得不够细。Midjourney 出单张"惊艳图"的速度依然无人能敌，但它没法让你精确复现某个姿势加某个画风加某张脸的组合——而这恰恰是商业项目里的刚需。

顺带说一句，现在的内容生产早就不是单点工具的事了。一条完整的链路可能是：用 Stable Diffusion 出概念图，用 AI 视频生成工具做动态化，用 AI 写作助手写脚本和产品文案，再用 AI 编程助手写批处理脚本把几百张图自动压缩打包。把这些环节串起来的人，效率优势是碾压性的。导航站里对这条链路有更完整的梳理。

适用人群与最终评分

这几类人，我强烈建议动手装一次：

• 游戏或影视的概念设计师：需要大量变体和快速迭代，ControlNet 能省掉一半沟通成本
• 电商与广告团队：产品图换背景、换模特、批量生成尺寸变体，Inpainting 是生产力工具
• 有数据合规要求的企业：素材不能上传第三方云服务，本地部署是唯一选项
• 想研究微调的技术人员：LoRA、Dreambooth、Textual Inversion 这些玩法只有开源模型能玩

这几类人，我的建议是先别折腾：

• 只想快速出几张图发社交媒体的，用 Midjourney 或者国内的在线服务，五分钟搞定
• 电脑显存低于 6GB 又没有升级计划的，云端 GPU 租用可能比自己装更划算
• 完全不想碰命令行、看到报错就头疼的，整合包能解决 90% 的问题，但剩下 10% 还是会劝退

最后给个评分，纯个人主观：

| 评分维度 | 分数（5 分制） | 说明 | | --- | --- | --- | | 画质上限 | 4.0 | SDXL 之后再无质变，Flux 已经追上 | | 上手难度 | 2.5 | 分数越低越难，整合包救了一半 | | 生态丰富度 | 5.0 | 目前没有对手 | | 硬件成本 | 3.5 | 8GB 显存是舒适线 | | 商业可用性 | 3.5 | 版本授权差异大，商用前务必查清 | | 综合 | 4.0 | 值得投入时间，但要接受学习曲线 |

关键要点速览

• Stable Diffusion 的核心创新是潜空间扩散，让消费级显卡跑文生图成为可能，论文发表于 2021 年 12 月
• 版本选择上，新手从 SD 1.5 生态入手，商用项目优先考虑 SDXL 或 SD 3.5
• ControlNet 和 LoRA 是它区别于闭源服务的真正壁垒，不是画质
• 本地部署的隐性成本是时间，硬件门槛是 6GB 显存起步，8GB 舒适
• 2025 年它依然是可微调、可私有化部署的 AI 绘画工具里生态最完整的一支

相关推荐

想继续深挖？ 我们整理了一份 AI 绘画工具的横向专题，覆盖从出图到后期放大的完整链路，适合已经跑通基础流程