只靠国产算力与开源数据,端侧模型预训练行不行?我们做到了全流程开源 文章详细介绍了“开元-2B”端侧模型的预训练过程,该模型由鹏城实验室与清华大学 PACMAN 实验室联合开发。核心挑战是在国产算力(华为昇腾 910A)受限和数据质量参差不齐的情况下,训练高效可用的端侧模型。文章阐述了为解决训练稳定性引入的… 赞 参与讨论{{item.data.meta.comment}}条讨论
只靠国产算力与开源数据,端侧模型预训练行不行?我们做到了全流程开源 文章详细介绍了“开元-2B”端侧模型的预训练过程,该模型由鹏城实验室与清华大学 PACMAN 实验室联合开发。核心挑战是在国产算力(华为昇腾 910A)受限和数据质量参差不齐的情况下,训练高效可用的端侧模型。文章阐述了为解决训练稳定性引入的… 赞 参与讨论{{item.data.meta.comment}}条讨论
作者: 只靠国产算力与开源数据,端侧模型预训练行不行?我们做到了全流程开源 文章详细介绍了“开元-2B”端侧模型的预训练过程,该模型由鹏城实验室与清华大学 PACMAN 实验室联合开发。核心挑战是在国产算力(华为昇腾 910A)受限和数据质量参差不齐的情况下,训练高效可用的端侧模型。文章阐述了为解决训练稳定性引入的… 赞 参与讨论{{item.data.meta.comment}}条讨论
只靠国产算力与开源数据,端侧模型预训练行不行?我们做到了全流程开源 文章详细介绍了“开元-2B”端侧模型的预训练过程,该模型由鹏城实验室与清华大学 PACMAN 实验室联合开发。核心挑战是在国产算力(华为昇腾 910A)受限和数据质量参差不齐的情况下,训练高效可用的端侧模型。文章阐述了为解决训练稳定性引入的… 赞 参与讨论{{item.data.meta.comment}}条讨论