Stable Diffusion模型怎么用？本地部署与在线网站实测对比

2022年8月22日，Stability AI把 Stable Diffusion 的完整权重扔上 GitHub 那天，我正蹲在一台只有 6GB 显存的游戏本前刷推特。当时的第一反应是：这玩意儿真能在消费级显卡上跑？三天后我跑通了第一张 512×512 的猫，用了 47 秒。两年多过去，现在同样的提示词在 RTX 4060 上只要 3 秒出头。

这个速度变化，基本就是 stable diffusion模型 这两年的演进缩影。但问题也来了：GitHub 上光是大版本就有 1.5、2.1、XL、3.0、3.5 五六个分支，部署方式分本地、云端、在线网站三条路，新手打开搜索引擎，八成会被 WebUI、ComfyUI、Fooocus、Forge 这堆名字绕晕。

我把手上三台机器（4060 笔记本、3090 台式、一台按小时租的 A10 云实例）重新跑了一遍，顺便把几个常用在线站点也测了一轮。这篇就把踩过的坑摊开讲。

核心结论先放这儿：stable diffusion模型 是目前开源 AI 绘画里生态最完整、可控性最强的一条路线，但它不是开箱即用的产品，而是一套需要你自己拼装的工作流。追求省事请直接选在线网站，追求出图自由度和批量生产，本地部署仍然没有替代品。

Stable Diffusion模型到底在算什么

本节提要：Stable Diffusion 属于潜空间扩散模型，核心思路是把图像压缩到低维潜空间再去做去噪，这让它在消费级显卡上跑得动。

stable diffusion模型 是指一类基于潜空间扩散（Latent Diffusion）的文本到图像生成模型，由慕尼黑大学与 Stability AI 团队在 2022 年的论文《High-Resolution Image Synthesis with Latent Diffusion Models》（Rombach 等，CVPR 2022，arXiv:2112.10752）中提出。

它的关键设计在于"降维"这件事。传统扩散模型直接在 512×512×3 的像素空间里逐步去噪，计算量巨大。Stable Diffusion 先训练一个 VAE，把图像压缩成一个 64×64×4 的潜变量，压缩比是 48 倍，去噪过程全部在这个小得多的空间里做，最后再解码回像素。

举个不太严谨但直观的类比：这就像修图时先看缩略图定构图，定好了再放大到原始尺寸精修，只不过"缩略图"和"精修"两个步骤都是神经网络学出来的。

整个过程分三步走：

1. **文本编码**：CLIP 文本编码器把你的 prompt 变成一组向量，这是"条件"，告诉模型要去噪成什么样。
2. **潜空间去噪**：U-Net（SD 3.0 之后换成了 DiT 架构）从纯噪声开始，迭代 20~50 步，每步都参考文本条件预测噪声并减掉。
3. **VAE 解码**：把干净的潜变量还原成肉眼可见的图像。

这里有个容易被忽略的细节。SD 3.0 那篇论文《Scaling Rectified Flow Transformers for High-Resolution Image Synthesis》（Esser 等，arXiv:2403.03206，2024 年 3 月）把 U-Net 换成了 Transformer 主干，还引入了 Rectified Flow 训练目标。说白了，架构从卷积转向了 Transformer，跟同期 LLM 的路子一致。这个转向我个人认为挺重要——它意味着 AI 绘画和 AI 视频生成、AI 编程助手背后的技术栈在收敛，未来多模态模型的复用成本会明显下降。

核心功能：不只是"打字出图"

本节提要：除了最基础的文生图，真正拉开差距的是 ControlNet、LoRA 和局部重绘这些控制类功能。

很多人对 stable diffusion模型 的印象停留在"输入提示词出图"，这其实只覆盖了它三成能力。我按实际使用频率排一下：

文生图与图生图。基础功能，没什么好说的。图生图（img2img）的价值在于风格迁移和草稿细化，Denoising Strength 调 0.4 左右能把照片转成插画又保留结构。

ControlNet。这是让我第一次觉得"开源赢了"的功能。它允许你用一个额外的网络约束生成结构——OpenPose 控骨架、Canny 控边缘、Depth 控景深关系。给电商客户做模特换装方案时，我用 OpenPose + IP-Adapter 组合，固定姿态、固定服装、只换背景光影，一次生成 200 张备选，人工挑 12 张。这个流程在三年前得靠 3D 建模加渲染农场的预算才能做。

LoRA 微调。单文件通常 10~200MB，加载即用。训练一个特定角色或画风的 LoRA，在 3090 上用 Kohya_ss 差不多 40 分钟，数据集 30 张图起步。

局部重绘与扩图。Inpainting 修手、修脸，Outpainting 扩画幅，配合 Photoshop 插件使用体验最好。

常用版本参数对照：

| 模型版本 | 发布时间 | 主干架构 | UNet/主干参数量 | 推荐显存 | 常用分辨率 | |---|---|---|---|---|---| | SD 1.5 | 2022年10月 | U-Net | 约 0.86B | 4GB+ | 512×512 | | SD 2.1 | 2022年12月 | U-Net | 约 0.87B | 6GB+ | 768×768 | | SDXL 1.0 | 2023年7月 | U-Net（双文本编码器） | 约 3.5B | 8GB+ | 1024×1024 | | SD 3.5 Large | 2024年10月 | MMDiT | 约 8B | 12GB+ | 1024×1024 |

（参数数据来源：对应版本的官方模型卡与论文；SDXL 架构细节见 Podell 等，arXiv:2307.01952，2023 年 7 月）

三条部署路径，我全试了一遍

本节提要：本地部署可控性最高、上手成本最高；云端按小时租卡适合间歇性需求；在线网站零门槛但受限最多。

本地部署

需要的东西：Python 3.10+、PyTorch、一个前端界面。前端目前主流就三个——AUTOMATIC1111 的 WebUI、ComfyUI、Fooocus。

A1111 WebUI 生态最全，插件多，但这两年更新节奏慢下来了，SDXL 和 SD 3.5 支持都不算及时。ComfyUI 是节点式工作流，学习曲线陡，但一旦搭好流程，批量生产和 API 调用效率高得多。Fooocus 介于两者之间，几乎不用配置，适合刚入门的人。

用 Hugging Face 的 `diffusers` 库跑推理，代码其实很短：

from diffusers import StableDiffusionXLPipeline import torch

加载 SDXL 基础模型，使用 fp16 降低显存占用

pipe = StableDiffusionXLPipeline.from_pretrained( "stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16, variant="fp16" ).to("cuda")

开启 CPU offload，8GB 显存以下建议打开，代价是速度变慢

pipe.enable_model_cpu_offload()

prompt = "a lone lighthouse on a cliff, stormy sea, cinematic lighting" image = pipe(prompt=prompt, num_inference_steps=30, guidance_scale=7.0).images[0] image.save("output.png") # 输出 1024x1024

第一次跑这条代码，15GB 的模型文件下载就等了我二十多分钟。国内网络环境下建议先配好镜像源，不然容易卡在下载环节。

云端部署

AutoDL、RunPod、Vast.ai 这类平台按小时计费，A10 大概 1.5~3 元/小时。适合两类人：一是没有好显卡但偶尔要出图，二是要跑 LoRA 训练这种临时高负载任务。缺点是环境每次都得重配，除非你自己做镜像。

在线网站

不用装任何东西，打开浏览器就能用。缺点是模型版本通常被锁死、不能装自定义 LoRA、批量导出要付费。做概念草图够用，做商业交付基本不行。

三种方式横向对比：

| 维度 | 本地部署 | 云端租卡 | 在线网站 | |---|---|---|---| | 上手门槛 | 高（需配环境） | 中 | 极低 | | 单次成本 | 硬件摊销 | 1.5~3 元/小时 | 免费或月订阅 | | 模型自由度 | 完全自由 | 完全自由 | 受限 | | 装自定义 LoRA | 支持 | 支持 | 多数不支持 | | 批量出图 | 强 | 强 | 弱 | | 数据隐私 | 完全本地 | 取决于平台 | 上传到第三方 | | 适合场景 | 长期高频 | 间歇性需求 | 试水、轻量使用 |

和竞品比，它到底输在哪赢在哪

本节提要：Stable Diffusion 赢在开源和可控性，输在开箱体验和文本理解精度。

Midjourney 的美学水准至今仍然是天花板级别，出图默认就好看，代价是控制粒度粗、API 不开放、商用授权有门槛。DALL·E 3 的文本理解最准，你说"三只猫戴红帽子"它基本不会给你四只，但风格单一。Flux.1 是 2024 年冒出来的新秀，由前 SD 核心成员创办的 Black Forest Labs 推出，光影和文字渲染明显强于 SDXL，但开源版本对显存要求更狠。

| 对比项 | Stable Diffusion | Midjourney | DALL·E 3 | Flux.1 | |---|---|---|---|---| | 开源 | 是 | 否 | 否 | 部分开源 | | 本地运行 | 支持 | 不支持 | 不支持 | 支持（需大显存） | | 美学默认质量 | 中（依赖社区模型） | 高 | 中高 | 高 | | 文本理解精度 | 中 | 中 | 高 | 高 | | 可微调 | 支持 LoRA/DreamBooth | 不支持 | 不支持 | 支持 | | 生态规模 | 极大（Civitai 等社区） | 中 | 小 | 增长中 |

坦白讲，如果你的需求是"给公众号配一张好看的封面图"，装本地环境纯属自虐，直接用在线工具五分钟搞定。但如果你需要一套能稳定复现、能批量跑、能塞进自己业务系统的出图管线，那 stable diffusion模型 这套开源栈目前还是性价比最高的选择——尤其是 SD 3.5 之后，社区微调模型的迭代速度明显加快了。

谁该用，谁别碰

建议直接用的人：

• 电商、游戏、广告行业的视觉岗位，有批量且风格一致的需求
• 想训练专属画风或角色 IP 的创作者
• 需要在产品里集成图像生成能力的开发者
• 对数据隐私敏感、不能把素材上传到第三方的团队

建议绕道的人：

• 只是偶尔需要一张插图，一个月出图不超过 20 张
• 电脑没有独显，且不愿意折腾云端
• 对"调参"这件事毫无耐心

我的推荐配置：预算够就 12GB 显存起步（4060 Ti 16G 性价比不错），8GB 能跑 SDXL 但很吃紧，SD 3.5 Large 基本别想。内存 32GB、固态硬盘留 200GB 给模型仓库，这堆模型文件加起来轻松破 500GB。

工具选型上，A1111 适合单张精修，ComfyUI 适合流程化生产，两个都装不冲突。

评分与最后的判断

按我自己的使用感受给个分（满分 10）：

• **图像质量**：8.5 — 社区模型拉高了上限，但基础模型本身一般
• **可控性**：9.5 — ControlNet + LoRA + 局部重绘，目前没有对手
• **上手难度**：5.0 — 这是它最大的短板，环境配置能劝退一半人
• **生态活跃度**：9.0 — Civitai、Hugging Face 上的模型更新几乎每天都有
• **综合性价比**：9.0 — 免费、开源、可商用（需注意各模型的具体许可）

关键要点速览：

1. stable diffusion模型 是潜空间扩散模型，通过 VAE 降维把去噪计算压到消费级显卡可承受的范围
2. 三种部署路径中，本地部署可控性最强但门槛最高，在线网站零门槛但自由度受限
3. ControlNet 和 LoRA 是它区别于 Midjourney 的核心竞争力，也是商业落地的关键
4. 12GB 显存 + 32GB 内存是当前比较舒服的本地配置起点
5. SD 3.5 引入 MMDiT 架构后，与 LLM 的技术栈开始收敛，长期看多模态复用价值会更高

未来一年我比较关注两件事：一是 SD 系列和视频生成模型的融合进度，二是量化推理能不能把 SD 3.5 Large 压到 8GB 显存以内。前者会决定 AI 视频生成的开源格局，后者决定本地部署还能不能守住阵地。

相关推荐

继续深入

• 想横向了解其他生成式工具？可以看看站内的 AI 绘画工具专题，覆盖 Flux、Midjourney 等主流方案的实测记录
• 对代码侧集成感兴趣，可以查阅 Hugging Face `diffusers` 官方文档的 pipelines 章节

工具与资源

• 想找更多经过筛选的 AI 工具，欢迎访问 [VergeX AI工具导航](https://nav.vergex.cn)，按分类检索，省去自己一个个试的时间
• 模型下载建议优先走 Hugging Face 官方仓库，社区模型在 Civitai 上找，注意查看 License

保持更新

• 本站会持续跟进 stable diffusion模型 的版本迭代与部署方案变化，可以通过邮件或微信订阅更新，新文章发布时第一时间推送