-
关键技术详解｜腾讯一念 LLM 分布式推理优化实践
文章详细介绍了腾讯“一念 LLM”推理框架的分布式优化实践。面对当前 LLM 推理框架性能与理论上限的巨大差距，以及业务对快速响应和系统稳定高效的需求，“一念”框架应运而生。其核心设计理念在于通过手写 C++模型、全流程自主显存管理（特别是 KV Cache）、以及结合开源、移植和自研的算子优化，实现对 Nvidia、华为昇腾、腾讯紫霄等异构硬件的统一支持。文章深入分析了 Prefill 和 De…- 0
- 0
-
优化企业 AI 助手：Crypto.com 如何利用 LLM 推理和反馈来提升准确性和性能 | 亚马逊云服务
这篇与 Crypto.com 合作撰写的文章，探讨了一种系统性的方法，用于优化在 AWS 上由大型语言模型（LLM）驱动的企业 AI 助手。它解决了部署复杂 AI 助手所面临的挑战，这些助手的功能不仅仅是处理基本的常见问题解答，还要处理复杂的任务，遵守公司政策，并与业务规则集成。其核心创新在于一种反馈驱动机制，特别是“评判”。这种机制通过外部反馈循环，在推理过程中动态地指导 LLM 的行为，而非修…- 0
- 0
LLM推理
-
✈优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×