本文系统整理了当前最全面的开源大型语言模型(LLM)资源列表，该资源库在 GitHub 上获得 23.9k 星标。内容涵盖多个知名开源项目如 DeepSeek、Qwen 等中英文模型，以及训练框架(如 DeepSpeed、Megatron-LM)、推理工具(如 vLLM、llama.cpp)、评估方法、应用开发库(LangChain、LlamaIndex)等。资源按技术领域分类，覆盖 LLM 全生命周期，从理论研究到实际应用，包含论文、课程、书籍等学习资料。特别突出了中国团队的开源贡献，如 DeepSeek、Qwen 等项目的完整生态。
🔥 大型语言模型（LLM）已经席卷了NLP社区、AI社区和全世界。以下是关于大型语言模型的精选资源列表，特别是与ChatGPT相关的内容。它还包含LLM训练框架、LLM部署工具、LLM相关的课程和教程以及所有公开可用的LLM检查点和API。
•TinyZero[1] - DeepSeek R1-Zero的干净、简约、可访问的重现•open-r1[2] - DeepSeek-R1的完全开源重现•DeepSeek-R1[3] - DeepSeek的第一代推理模型•Qwen2.5-Max[4] - 探索大规模MoE模型的智能•OpenAI o3-mini[5] - 推动具有成本效益的推理前沿•DeepSeek-V3[6] - 首个开源GPT-4o级别模型
目录
•Awesome-LLM•里程碑论文•其他论文•LLM排行榜•开放LLM•LLM数据•LLM评估•LLM训练框架•LLM推理•LLM应用•LLM书籍•关于LLM的伟大思想•其他
里程碑论文
里程碑论文[7]
其他论文
注意
如果你对LLM领域感兴趣，可以参考上面列出的里程碑论文，帮助你探索其历史和前沿状态。然而，LLM的每个方向都提供了独特的见解和贡献，这对理解该领域整体非常重要。有关各个子领域的详细论文列表，请参考以下链接：
其他论文[8]
LLM排行榜
•Chatbot Arena Leaderboard[9] - 一个大型语言模型（LLM）基准平台，提供匿名、随机化的对战，采用众包方式。•LiveBench[10] - 一个具有挑战性、无污染的LLM基准。•Open LLM Leaderboard[11] - 旨在跟踪、排名并评估LLM和聊天机器人，随着它们的发布。•AlpacaEval[12] - 使用Nous基准套件的指令跟随语言模型自动评估器。
其他排行榜[13]
开放LLM[14]
LLM数据
参考资料：LLMDataHub[15]
•IBM data-prep-kit[16] - 用于高效处理非结构化数据的开源工具包，具有预构建模块和本地到集群的可扩展性。•Datatrove[17] - 通过提供一组平台无关、可定制的管道处理模块，将数据处理从脚本化的混乱中解脱出来。•Dingo[18] - Dingo：一款全面的数据质量评估工具•FastDatasets[19] - 一个强大的工具，用于为大型语言模型创建高质量的训练数据集
LLM评估
•lm-evaluation-harness[20] - 用于少量样本评估语言模型的框架。•lighteval[21] - 一个轻量级LLM评估套件，Hugging Face在内部使用。•simple-evals[22] - OpenAI提供的评估工具。•其他评估框架[23]
LLM训练框架
•Meta Lingua[24] - 一个精简、高效、易于修改的代码库，用于研究LLM。•Litgpt[25] - 20多种高性能LLM，具有预训练、微调和大规模部署的方案。•nanotron[26] - 最简化的大型语言模型3D并行训练。•DeepSpeed[27] - DeepSpeed是一个深度学习优化库，使分布式训练和推理变得简单、高效和有效。•Megatron-LM[28] - 进行大规模变换器模型训练的持续研究。•torchtitan[29] - 一个用于大规模模型训练的本地PyTorch库。•其他框架[30]
LLM推理
参考资料：llm-inference-solutions[31]
•SGLang[32] - SGLang是一个快速的服务框架，用于大型语言模型和视觉语言模型。•vLLM[33] - 一个高吞吐量且内存高效的LLM推理和服务引擎。•llama.cpp[34] - 使用C/C++进行LLM推理。•ollama[35] - 启动Llama 3、Mistral、Gemma及其他大型语言模型。•TGI[36] - 一个部署和服务大型语言模型（LLMs）的工具包。•TensorRT-LLM[37] - Nvidia的LLM推理框架•其他部署工具[38]
LLM应用
参考资料：极棒的llm-apps[39]
•dspy[40] - DSPy：用于编程——而非提示——基础模型的框架。•LangChain[41] — 一个流行的Python/JavaScript库，用于链式连接语言模型提示序列。•LlamaIndex[42] — 一个Python库，用于为LLM应用增强数据。•更多应用[43]
LLM教程和课程
•Andrej Karpathy系列[44] - 我最喜欢的！•Umar Jamil系列[45] - 高质量的教育视频，不容错过。•Alexander Rush系列[46] - 高质量的教育材料，不容错过。•llm-course[47] - 进入大型语言模型（LLMs）的课程，包含路线图和Colab笔记本。•UWaterloo CS 886[48] - 基础模型的最新进展。•CS25-Transformers United[49]•ChatGPT提示工程[50]•Princeton[51]: 理解大型语言模型•CS324 - 大型语言模型[52]•GPT的状态[53]•让我们从零开始构建GPT：从代码到实现[54]•minbpe[55] - 用于LLM分词的字节对编码（BPE）算法的最小化、干净的代码。•femtoGPT[56] - 用Rust实现的最小化生成预训练变换器。•Neurips2022[57]-基础模型的基础稳健性•ICML2022-欢迎进入“巨型模型”时代：训练和服务更大模型的技术和系统[58]•60行NumPy代码实现GPT[59]
LLM书籍
•Generative AI with LangChain[60]: 使用Python、ChatGPT和其他LLM构建大型语言模型（LLM）应用——附带一个GitHub仓库，展示了很多功能。
•Build a Large Language Model (From Scratch)[61] - 构建你自己的工作LLM的指南。
•BUILD GPT[62]: HOW AI WORKS - 解释如何从零开始编码生成预训练变换器（GPT）。
•Hands-On Large Language Models: Language Understanding and Generation[63] - 探索大型语言模型的世界，本书包含超过275个自制图示！
•The Chinese Book for Large Language Models[64] - 一本基于大型语言模型调查的入门LLM教科书。
关于LLM的伟大思想
其他[77]
•Emergent Mind[78] - 最新的AI新闻，由GPT-4策划和解释。•ShareGPT - 一键分享你最疯狂的ChatGPT对话。•主要LLM + 数据可用性[79]•500+最佳AI工具[80]•Cohere Summarize Beta - 介绍Cohere Summarize Beta：一个新的文本总结端点•chatgpt-wrapper - ChatGPT Wrapper是一个开源的非官方Python API和CLI，可以让你与ChatGPT互动。•Cursor[81] - 使用强大的AI写作、编辑和聊天你的代码。•AutoGPT - 一个展示GPT-4语言模型能力的实验性开源应用。•OpenAGI - 当LLM遇到领域专家。•EasyEdit[82] - 一个易于使用的框架，用于编辑大型语言模型。•chatgpt-shroud - 一个Chrome扩展程序，用于OpenAI的ChatGPT，通过轻松隐藏和显示聊天历史来增强用户隐私。适合屏幕共享时的隐私保护。
贡献
这是一个活跃的代码库，我们欢迎您的贡献！
如果我不确定某些拉取请求是否对LLM有帮助，我将保持它们的开放状态，你可以通过添加👍来投票支持它们。
往期精彩内容回顾
更多信息
山行AI希望本文对你有所帮助，由笔者整理自：https://github.com/Hannibal046/Awesome-LLM?tab=readme-ov-file#miscellaneous，感谢点赞、转发！
References
[1] TinyZero:https://github.com/Jiayi-Pan/TinyZero[2]open-r1:https://github.com/huggingface/open-r1[3]DeepSeek-R1:https://github.com/deepseek-ai/DeepSeek-R1[4]Qwen2.5-Max:https://qwenlm.github.io/blog/qwen2.5-max/[5]OpenAI o3-mini:https://openai.com/index/openai-o3-mini/[6]DeepSeek-V3:https://github.com/deepseek-ai/DeepSeek-V3[7]里程碑论文:https://github.com/Hannibal046/Awesome-LLM?tab=readme-ov-file#milestone-papers[8]其他论文:https://github.com/Hannibal046/Awesome-LLM?tab=readme-ov-file#other-papers[9]Chatbot Arena Leaderboard:https://huggingface.co/spaces/lmarena-ai/chatbot-arena-leaderboard[10]LiveBench:https://livebench.ai/#/[11]Open LLM Leaderboard:https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard[12]AlpacaEval:https://tatsu-lab.github.io/alpaca_eval/[13]其他排行榜:https://github.com/Hannibal046/Awesome-LLM?tab=readme-ov-file#llm-leaderboard[14]开放LLM:https://github.com/Hannibal046/Awesome-LLM?tab=readme-ov-file#open-llm[15]LLMDataHub:https://github.com/Zjh-819/LLMDataHub[16]IBM data-prep-kit:https://github.com/data-prep-kit/data-prep-kit[17]Datatrove:https://github.com/huggingface/datatrove[18]Dingo:https://github.com/DataEval/dingo[19]FastDatasets:https://github.com/ZhuLinsen/FastDatasets[20]lm-evaluation-harness:https://github.com/EleutherAI/lm-evaluation-harness[21]lighteval:https://github.com/huggingface/lighteval[22]simple-evals:https://github.com/openai/simple-evals[23]其他评估框架:https://github.com/Hannibal046/Awesome-LLM?tab=readme-ov-file#llm-evaluation[24]Meta Lingua:https://github.com/facebookresearch/lingua[25]Litgpt:https://github.com/Lightning-AI/litgpt[26]nanotron:https://github.com/huggingface/nanotron[27]DeepSpeed:https://github.com/deepspeedai/DeepSpeed[28]Megatron-LM:https://github.com/NVIDIA/Megatron-LM[29]orchtitan:https://github.com/pytorch/torchtitan[30]其他框架:https://github.com/Hannibal046/Awesome-LLM?tab=readme-ov-file#llm-training-frameworks[31]llm-inference-solutions:https://github.com/mani-kantap/llm-inference-solutions[32]SGLang:https://github.com/sgl-project/sglang[33]vLLM:https://github.com/vllm-project/vllm[34]llama.cpp:https://github.com/ggml-org/llama.cpp[35]ollama:https://github.com/ollama/ollama[36]TGI:https://huggingface.co/docs/text-generation-inference/en/index[37]TensorRT-LLM:https://github.com/NVIDIA/TensorRT-LLM[38]其他部署工具:https://github.com/Hannibal046/Awesome-LLM?tab=readme-ov-file#llm-inference[39]极棒的llm-apps:https://github.com/Shubhamsaboo/awesome-llm-apps[40]dspy:https://github.com/stanfordnlp/dspy[41]LangChain:https://github.com/langchain-ai/langchain[42]LlamaIndex:https://github.com/run-llama/llama_index[43]更多应用:https://github.com/Hannibal046/Awesome-LLM?tab=readme-ov-file#llm-applications[44]Andrej Karpathy系列:https://www.youtube.com/@AndrejKarpathy[45]Umar Jamil系列:https://www.youtube.com/@umarjamilai[46]Alexander Rush系列:https://rush-nlp.com/projects/[47]llm-course:https://github.com/mlabonne/llm-course[48]UWaterloo CS 886:https://cs.uwaterloo.ca/~wenhuche/teaching/cs886/[49]CS25-Transformers United:https://web.stanford.edu/class/cs25/[50]ChatGPT提示工程:https://www.deeplearning.ai/short-courses/chatgpt-prompt-engineering-for-developers/[51]Princeton:https://www.cs.princeton.edu/courses/archive/fall22/cos597G/[52]CS324 - 大型语言模型:https://stanford-cs324.github.io/winter2022/[53]GPT的状态:https://build.microsoft.com/en-US/sessions/db3f4859-cd30-4445-a0cd-553c3304f8e2[54]让我们从零开始构建GPT：从代码到实现:https://www.youtube.com/watch?v=kCc8FmEb1nY[55]minbpe:https://www.youtube.com/watch?v=zduSFxRajkE&t=1157s[56]femtoGPT:https://github.com/keyvank/femtoGPT[57]Neurips2022:https://nips.cc/virtual/2022/tutorial/55796[58]ICML2022-欢迎进入“巨型模型”时代：训练和服务更大模型的技术和系统:https://icml.cc/virtual/2022/tutorial/18440[59]60行NumPy代码实现GPT:https://jaykmody.com/blog/gpt-from-scratch/[60]Generative AI with LangChain:https://www.amazon.com/Generative-AI-LangChain-language-ChatGPT/dp/1835083463?_encoding=UTF8&qid=1688968678&sr=8-1&linkCode=sl1&tag=benman10e-20&linkId=ea066981b332a675b6f3125387dba6c8&language=en_US&ref_=as_li_ss_tl[61]Build a Large Language Model (From Scratch):https://www.manning.com/books/build-a-large-language-model-from-scratch[62]BUILD GPT:https://www.amazon.com/dp/9152799727?ref_=cm_sw_r_cp_ud_dp_W3ZHCD6QWM3DPPC0ARTT_1[63]Hands-On Large Language Models: Language Understanding and Generation:https://www.llm-book.com/[64]The Chinese Book for Large Language Models:http://aibox.ruc.edu.cn/zws/index.htm[65]为什么所有公开复现的GPT-3都失败了？:https://jingfengyang.github.io/gpt[66]指令调优的阶段性回顾:https://yaofu.notion.site/June-2023-A-Stage-Review-of-Instruction-Tuning-f59dbfc36e2d4e12a33443bd6b2012c2[67]LLM驱动的自主代理:https://lilianweng.github.io/posts/2023-06-23-agent/[68]为什么你应该致力于AI代理！:https://www.youtube.com/watch?v=fqVLjtvWgq8[69]谷歌：“我们没有护城河，OpenAI也没有”:https://semianalysis.com/2023/05/04/google-we-have-no-moat-and-neither/[70]AI竞争声明:https://petergabriel.com/news/ai-competition-statement/[71]提示工程:https://lilianweng.github.io/posts/2023-03-15-prompt-engineering/[72]诺姆·乔姆斯基：ChatGPT的虚假承诺:https://www.cs.princeton.edu/courses/archive/fall22/cos597G/[73]ChatGPT有1750亿个参数吗？技术分析:https://orenleung.super.site/is-chatgpt-175-billion-parameters-technical-analysis[74]GPT是如何获得其能力的？追溯语言模型的涌现能力来源:https://yaofu.notion.site/How-does-GPT-Obtain-its-Ability-Tracing-Emergent-Abilities-of-Language-Models-to-their-Sources-b9a57ac0fcf74f30a1ab9e3e36fa1dc1[75]开放预训练变换器:https://www.youtube.com/watch?v=p9IxoSkvZ-M&t=4s[76]大型语言模型中的扩展、涌现与推理:https://docs.google.com/presentation/d/1EUV7W7X_w0BDrscDhPg7lMGzJCkeaPkGCJ3bN8dluXc/edit?pli=1&resourcekey=0-7Nz5A7y8JozyVrnDtcEKJA#slide=id.g16197112905_0_0[77]其他:https://github.com/Hannibal046/Awesome-LLM?tab=readme-ov-file#miscellaneous[78]Emergent Mind:https://www.emergentmind.com/[79]主要LLM + 数据可用性:https://docs.google.com/spreadsheets/d/1bmpDdLZxvTCleLGVPgzoMTQ0iDP2-7v7QziPrzPdHyM/edit?gid=0#gid=0[80]500+最佳AI工具:https://vaulted-polonium-23c.notion.site/500-Best-AI-Tools-e954b36bf688404ababf74a13f98d126[81]Cursor:https://www.cursor.com/ja[82]EasyEdit: https://github.com/zjunlp/EasyEdit
