-
万亿参数狂欢！一文刷爆 2025 年七大顶流大模型架构
本文对 2025 年顶尖开源大语言模型（LLM）的架构发展进行了深度分析。文章指出，尽管基础的 Transformer 架构自 GPT 问世以来保持了相似性，但在位置编码、注意力机制和激活函数等方面存在细微改进。文章详细探讨了 DeepSeek V3/R1 中引入的多头潜在注意力（MLA）和混合专家模型（MoE），这显著提升了计算效率并扩大了模型容量。Kimi K2 作为万亿参数模型，在 Deep…- 0
- 0
-
深夜突袭，阿里 Qwen3 登顶全球开源王座！暴击 DeepSeek-R1，2 小时狂揽 17k 星
文章主要介绍了阿里新开源的通义千问模型 Qwen3，该模型采用了混合专家（MoE）架构，总参数量达 235B，同时创新性地引入了混合推理模式，能够在思考和非思考模式之间无缝切换，从而在各种场景中实现最佳性能。Qwen3 在奥数、代码能力和人类偏好对齐等多个基准测试中表现出色，均创下新的纪录。此外，Qwen3 还原生支持 MCP 协议，并具备强大的工具调用能力，结合 Qwen-Agent 框架，可以…- 0
- 0
混合专家
扫码打开当前页
-
✈优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×