bash pip install torch transformers accelerate sentencepiece

如果需要量化，再加 bitsandbytes

pip install bitsandbytes

加载和推理的核心代码：

加载 Baichuan2-13B-Chat 并完成一次对话推理

环境：Python 3.10 + torch 2.1 + transformers 4.36+

from transformers import AutoModelForCausalLM, AutoTokenizer import torch

model_path = "baichuan-inc/Baichuan2-13B-Chat"

trust_remote_code=True 必须开启，百川的模型带自定义建模文件

tokenizer = AutoTokenizer.from_pretrained( model_path, use_fast=False, trust_remote_code=True )

model = AutoModelForCausalLM.from_pretrained( model_path, torch_dtype=torch.bfloat16, # 13B 用 bf16，单卡 24G 勉强能装下 device_map="auto", # 多卡会自动切分 trust_remote_code=True, ) model.eval()

Chat 版本必须走 chat() 接口，

它会自动套用 等特殊 token，直接 generate 会答非所问

messages = ["我开了家烘焙小店，想做个简单的会员积分方案，预算不多，给我三个思路"] response = model.chat(tokenizer, messages) print(response)

这里有个坑我必须

如果是生产环境，别用transformers裸跑，直接上vLLM：

用 vLLM 起一个 OpenAI 兼容的推理服务，吞吐能提升 5-10 倍

python -m vllm.entrypoints.openai.api_server \ --model baichuan-inc/Baichuan2-13B-Chat \ --trust-remote-code \ --tensor-parallel-size 2 \ --max-model-len 4096

启动后就能用标准的OpenAI SDK去调，代码几乎不用改。我们团队内部做知识库RAG时就是这么切的，从transformers迁移到vLLM，同样的并发下平均延迟从2.3秒降到了400毫秒左右（A100 40G × 2，输入长度512）。这个提升是实打实的。

关于推理优化的更多细节，我之前整理过一篇大模型推理加速实践笔记，里面有完整的压测数据。

百川模型能用在哪些场景？四个我验证过的方向

不是所有场景都值得上自部署。下面这张表是我和团队实际跑过、或者同行反馈比较靠谱的方向：

| 应用场景 | 推荐版本 | 理由 | 注意事项 | |---------|---------|------|---------| | 企业私有知识库RAG | Baichuan2-13B-Chat | 中文理解强、可内网部署 | 需要配向量库，检索质量决定上限 | | 行业垂域微调 | Baichuan2-7B + LoRA | 单卡可训、成本低 | 数据量建议至少5000条高质量样本 | | 智能客服/工单分类 | Baichuan2-7B | 推理快、意图识别准 | 需要大量业务指令数据 | | 内容生成/文案助手 | Baichuan 4 API | 长文能力好、免运维 | 按token计费，敏感数据慎用 |

我个人最推荐的是垂域微调这条路。2023年底我们帮一个律所朋友做过合同条款要素抽取的微调，用Baichuan2-7B加LoRA，8000条标注数据，单张A100训了大概6个小时，抽取准确率从基座的61%提到了87%。成本算下来不到一千块电费。这个性价比，在当时的国产开源模型里是很难被替代的。

不过话说回来，如果你的场景对时效性和通用能力要求高、又没有数据合规压力，直接调Baichuan 4的API可能更省事。自部署的隐性成本（运维、监控、扩缩容）别低估。

选型建议与几个真心话

聊点实际的。百川模型不是万能的，它的定位是"中文场景下性价比极高的开源基座"。 如果你在纠结选型，我的判断是：

• 纯中文任务、要私有化 → Baichuan2-13B是稳妥选择
• 需要多模态 → 看Baichuan-Omni，但成熟度不如专做多模态的团队
• 追求极致性能、能接受闭源 → Baichuan 4和头部闭源模型还有差距，别神话
• 医疗垂域 → Baichuan-M1值得一试，医疗语料增强是它的差异点

我在实际项目里发现，很多团队上来自部署13B，结果发现7B加好数据微调就够了，白白浪费了显存。先跑通7B，验证完业务闭环再升级，这是我踩过坑之后的建议。

想看更多国产模型横向对比，可以参考这篇主流国产大模型选型参考。

关键要点速览

• 百川模型覆盖开源（7B/13B/2代/M1）与闭源（Baichuan 3/4）两条产品线，开源版可免费商用
• Baichuan2训练数据2.6万亿tokens，中文理解优于同期Llama 2
• Chat模型必须用`model.chat()`而非直接`generate()`
• 生产环境优先用vLLM部署，吞吐可提升5-10倍
• 垂域微调推荐Baichuan2-7B + LoRA，成本低、见效快

学习路径上，我的建议是先跟着官方GitHub的Quick Start跑通7B推理，然后拿一个自己的小数据集做一次LoRA微调，最后再考虑上RAG或者换13B。走完这三步，你对百川模型的理解会比读十篇评测文章都深。

相关推荐

📚 阅读相关专题

• [大模型推理加速实践笔记](https://www.vergex.cn/llm/inference-optimization)
• [主流国产大模型选型参考](https://www.vergex.cn/llm/domestic-llm-compare)

🛠 查看工具推荐

• 想找更多AI开发工具和模型资源？访问 [VergeX AI工具导航](https://nav.vergex.cn)，我们持续收录主流大模型、推理框架和微调工具。

📮 订阅更新

• 关注VergeX技术雷达，获取国产大模型的一手实测与选型分析。可通过站点邮件订阅或微信公众号「VergeX」接收更新推送。