vLLM

往期专题

一共3篇文章

专题：第期

技术落地

本地推理服务

使用 vLLM 部署本地推理服务本地大模型推理不再遥不可及，vLLM 让你的 Mac 也能拥有“专属 GPT”，高效、安全、完全自主。注意vLLM 可作为生产级部署，本文只是对其的基本演示，未进行调优。在本书中的其余部分推荐使用 LM Studio 运行本地大模型。本节我们将在 Mac Mini M4 上使用 vLLM 构建本地推理服务。背景原理与核心概念vLLM（virtual LLM）是一个高…...
- 探索X
- 5小时前
- 0
- 0
技术落地

部署与性能优化

vLLM 部署与性能优化完整指南（Kubernetes 下部署 Qwen/Ollama 模型 & RAG 集成）vLLM 正在重塑大模型推理服务的生产范式，让本地化部署与极致性能兼得。如何用好它，决定了你的 AI 系统能否领先一步。本文系统梳理了 vLLM 在生产环境下的部署、性能调优、并行策略、量化支持及与 RAG 框架集成的最佳实践，帮助你高效构建本地化大模型推理服务。核心特性讲解vL…...
- 探索X
- 5小时前
- 0
- 0
技术落地

推理加速

推理加速：为什么 vLLM 比 HuggingFace 快这么多？vLLM 把 LLM 推理当成资源调度问题来做，而不是“算一次就完事的前向传播”。 LLM 推理的核心瓶颈是什么？大语言模型（LLM, Large Language Model）推理的性能瓶颈主要体现在以下几个方面：注意力计算（Q × Kᵀ）带来的算力瓶颈重复计算历史 K/V，导致效率低下（可通过 KV Cache 优化）显存管理不…...
- 探索X
- 5小时前
- 0
- 0

❯

解锁会员权限

个人中心

购物车

优惠劵

今日签到

有新私信私信列表

搜索

幸运之星正在降临...

点击领取今天的签到奖励！

恭喜！您今天获得了{{mission.data.mission.credit}}积分

今日签到

连续签到

{{item.credit}}

连续{{item.count}}天

查看所有

我的优惠劵

_✈_优惠劵

使用时效：无法使用

使用时效：
之前

使用时效：永久有效

优惠劵ID：
×

限制以下商品使用：限制以下商品分类使用：不限制使用：

[{{ct.name}}]

所有商品和商品类型均可使用

没有优惠劵可用!

购物车

×

删除

购物车空空如也!

清空购物车前往结算

您有新的私信

没有新私信

写新私信查看全部