2026 年 1 月，招商银行联合魔搭社区举办了关于大模型训练技术的 Meetup。会议涵盖了多个核心技术领域：ms-swift 框架在金融 Agent 中的应用；DataJuicer 在大规模数据生产中的实践；招行分享的基于 Hidden States 蒸馏的 Mamba 混合模型，实现了 40 倍以上的训练效率提升；华为昇腾开源软件栈的优化进展；RWKV 线性架构的优势；字节跳动开源的强化学习框架 verl；以及 SwanLab 的训练可视化和 Agentic RL 的策略设计。整体聚焦于如何将大模型技术在金融等严苛场景下落地，并解决算力与效率瓶颈。
2026-01-30 19:04 浙江
共同探索技术创新与实践应用的新方法与新路径
NEWS TODAY
招银数智创新Meetup回顾
2026年1月17日，招商银行总行信息技术部迎来了一场大模型技术与应用的交流盛会——招银数智创新Meetup：ms-swift大模型训练技术变革及金融领域落地实战。本次线下Meetup由招商银行携手魔搭社区、国内头部算力厂商联合举办，80多名开发者、工程师与行业专家齐聚一堂，围绕大模型训练技术、金融领域应用实践等议题展开深度交流，共同探索技术创新与实践应用的新方法与新路径。
模型服务技术专家赵宇泽（ms-swift框架负责人）和巫锡斌（verl框架负责人）对招商银行技术团队在开源训练生态中的贡献表达了肯定与感谢。
以下是本次活动的精彩回顾。
开场致辞
开场致辞中，招商银行工程师坦诚分享了活动初衷：当大模型技术以“周”甚至“天”为单位迅猛发展的当下，面对铺天盖地的新闻与信息洪流，作为一线开发者和工程师真正关心的问题，如模型到底怎么训？数据怎么处理？算力怎么压榨到极致？效率是否还能进一步提升……这些触及核心训练细节、能够分享“踩坑”经验的深度交流依然稀缺。正因为如此，招行联合头部开源社区、主流算力厂商，共同搭建招银数智创新Meetup活动平台，希望通过这个平台，让讨论回归技术本身，让内容触及真“干货”，让行动解决真问题。
ms-swift 从训练到 Agent：
大模型与金融行业的融合
魔搭社区模型服务技术专家赵宇泽在《从训练到Agent：大模型时代与金融行业的融合》的演讲中，分析到金融行业具有数据密集、决策复杂、对准确率要求高的特点，并基于各种金融场景对模型的能力提出了要求。接着介绍了支持多模态和全链路、大规模训练与强化学习、支持多种算法和国产硬件的ms-swift框架。同时从架构设计、金融数据获取、行业知识与上下文设计三个角度，并结合具体样例介绍了ms-Agent Fin-Research。最后，阐述了LLM+金融的现状与问题，并给出了相应的解决方案。
Datajuicer：数据驱动的大模型优化与实践
阿里巴巴通义实验室的大模型数据专家陈道源在《数据驱动的大模型优化与实践》的演讲中，从当前大模型的复杂度、成本和系统基建面临的挑战引入，详细介绍了用于数据生产的开源系统DataJuicer，包括其底层技术架构以及实践示例。最后展示了DataJuicer与 Trinity-RFT强化微调框架的集成结合与案例应用。
基于Hidden States蒸馏的
Mamba混合模型实践
招商银行的AI Infra工程师谭培祥在《基于Hidden States蒸馏的Mamba混合模型实践》的专题分享中，介绍了Transformer向Mamba架构演进及混合模型构建的关键进展。同时还介绍了通过权重复用策略实现模型初始化的工程实践，重点讲解了“基于Hidden States蒸馏”的创新训练方案，通过在学生端恢复Logits有效解决传输瓶颈，使训练效率提升40倍以上，最后对混合模型推理优化及通用能力开源做出了展望。
开源训练软件栈：构建与优化
昇腾计算训练开发部的高级工程师孙银磊在《昇腾开源训练软件栈：构筑与优化》的专题分享中，介绍了昇腾已实现规模商用、原生孵化SOTA模型等关键进展。同时还介绍了昇腾开源社区支持进展和实践，重点讲解了torch-npu、vLLM-Ascend和TransferQueue的原理和优势，最后做出了对外开放、贡献更多特性、拥抱社区的展望。
rwkv，面向未来的高效AI大模型架构
来自深圳元始智能有限公司的COO罗璇在《RWKV，面向未来的高效AI大模型架构》演讲中，重点介绍了RWKV团队自主研发的高效AI大模型架构。他详细地讲述了RWKV架构的发展历程，其独树一帜的技术优越性，以及广泛的应用场景。RWKV以“线性RNN+神经元符号”的混合架构，同时解决了Transformer二次复杂度瓶颈与传统RNN训练并行性不足的问题，为长序列、端侧部署与低算力场景提供了高效解决方案。
verl：an open-source large-scale
LLM RL Framework
字节跳动的资深技术专家巫锡斌在《verl: an Open-Source Large-Scale LLM RL Framework for Agentic Tasks》的演讲中，讲解了强化学习的概念其重要性。然后深入浅出地介绍了verl的概况：verl开源社区的规模、verl为开发带来的便利等等。同时还介绍了Model Engine、Rollout Engine、Checkpoint Engine、TransferQueue等重要组件的设计方案，并以对verl未来的展望收尾。
科学炼丹：基于SwanLab的
LLM训练可视化与超参优化实践
SwanLab团队的资深技术专家陈少宏在《基于SwanLab的LLM训练可视化与超参优化实践》的演讲中，结合数独任务的实际案例，由浅入深地讲述了如何利用SwanLab进行LLM强化微调策略改进，内容包括LLM强化微调的原理，LLM能解决什么实际问题，LLM强化学习的关键步骤，KL散度的定义，损失函数的设计，以及改进后模型的性能，拓宽了大家对LLM强化微调的思路。
Agentic RL：从数据工程到训练策略设计
华为技术有限公司的高级工程师袁帅在《Agentic RL：从数据准备到训练策略设计》的主题分享中，首先介绍了强化学习在SOTA模型后训练时代的重要性以及Agent RL面临的挑战，然后从数据准备、奖励与探索设计、训练策略三个维度分别展开了详细介绍，让大家对Agentic RL有了更深的了解。
活动期间，与会者还特别参观了招商银行数字金融展厅，沉浸式体验了招商银行在金融科技领域的最新应用成果，包括在云计算、人工智能、大数据等领域的创新实践，令参观者深刻感受到金融科技为金融服务带来的变革与提升。
NEWS TODAY
招银数智创新Meetup回顾
2026年1月17日，招商银行总行信息技术部迎来了一场大模型技术与应用的交流盛会——招银数智创新Meetup：ms-swift大模型训练技术变革及金融领域落地实战。本次线下Meetup由招商银行携手魔搭社区、国内头部算力厂商联合举办，80多名开发者、工程师与行业专家齐聚一堂，围绕大模型训练技术、金融领域应用实践等议题展开深度交流，共同探索技术创新与实践应用的新方法与新路径。
模型服务技术专家赵宇泽（ms-swift框架负责人）和巫锡斌（verl框架负责人）对招商银行技术团队在开源训练生态中的贡献表达了肯定与感谢。
以下是本次活动的精彩回顾。
开场致辞
开场致辞中，招商银行工程师坦诚分享了活动初衷：当大模型技术以“周”甚至“天”为单位迅猛发展的当下，面对铺天盖地的新闻与信息洪流，作为一线开发者和工程师真正关心的问题，如模型到底怎么训？数据怎么处理？算力怎么压榨到极致？效率是否还能进一步提升……这些触及核心训练细节、能够分享“踩坑”经验的深度交流依然稀缺。正因为如此，招行联合头部开源社区、主流算力厂商，共同搭建招银数智创新Meetup活动平台，希望通过这个平台，让讨论回归技术本身，让内容触及真“干货”，让行动解决真问题。
ms-swift 从训练到 Agent：
大模型与金融行业的融合
魔搭社区模型服务技术专家赵宇泽在《从训练到Agent：大模型时代与金融行业的融合》的演讲中，分析到金融行业具有数据密集、决策复杂、对准确率要求高的特点，并基于各种金融场景对模型的能力提出了要求。接着介绍了支持多模态和全链路、大规模训练与强化学习、支持多种算法和国产硬件的ms-swift框架。同时从架构设计、金融数据获取、行业知识与上下文设计三个角度，并结合具体样例介绍了ms-Agent Fin-Research。最后，阐述了LLM+金融的现状与问题，并给出了相应的解决方案。
Datajuicer：数据驱动的大模型优化与实践
阿里巴巴通义实验室的大模型数据专家陈道源在《数据驱动的大模型优化与实践》的演讲中，从当前大模型的复杂度、成本和系统基建面临的挑战引入，详细介绍了用于数据生产的开源系统DataJuicer，包括其底层技术架构以及实践示例。最后展示了DataJuicer与 Trinity-RFT强化微调框架的集成结合与案例应用。
基于Hidden States蒸馏的
Mamba混合模型实践
招商银行的AI Infra工程师谭培祥在《基于Hidden States蒸馏的Mamba混合模型实践》的专题分享中，介绍了Transformer向Mamba架构演进及混合模型构建的关键进展。同时还介绍了通过权重复用策略实现模型初始化的工程实践，重点讲解了“基于Hidden States蒸馏”的创新训练方案，通过在学生端恢复Logits有效解决传输瓶颈，使训练效率提升40倍以上，最后对混合模型推理优化及通用能力开源做出了展望。
开源训练软件栈：构建与优化
昇腾计算训练开发部的高级工程师孙银磊在《昇腾开源训练软件栈：构筑与优化》的专题分享中，介绍了昇腾已实现规模商用、原生孵化SOTA模型等关键进展。同时还介绍了昇腾开源社区支持进展和实践，重点讲解了torch-npu、vLLM-Ascend和TransferQueue的原理和优势，最后做出了对外开放、贡献更多特性、拥抱社区的展望。
rwkv，面向未来的高效AI大模型架构
来自深圳元始智能有限公司的COO罗璇在《RWKV，面向未来的高效AI大模型架构》演讲中，重点介绍了RWKV团队自主研发的高效AI大模型架构。他详细地讲述了RWKV架构的发展历程，其独树一帜的技术优越性，以及广泛的应用场景。RWKV以“线性RNN+神经元符号”的混合架构，同时解决了Transformer二次复杂度瓶颈与传统RNN训练并行性不足的问题，为长序列、端侧部署与低算力场景提供了高效解决方案。
verl：an open-source large-scale
LLM RL Framework
字节跳动的资深技术专家巫锡斌在《verl: an Open-Source Large-Scale LLM RL Framework for Agentic Tasks》的演讲中，讲解了强化学习的概念其重要性。然后深入浅出地介绍了verl的概况：verl开源社区的规模、verl为开发带来的便利等等。同时还介绍了Model Engine、Rollout Engine、Checkpoint Engine、TransferQueue等重要组件的设计方案，并以对verl未来的展望收尾。
科学炼丹：基于SwanLab的
LLM训练可视化与超参优化实践
SwanLab团队的资深技术专家陈少宏在《基于SwanLab的LLM训练可视化与超参优化实践》的演讲中，结合数独任务的实际案例，由浅入深地讲述了如何利用SwanLab进行LLM强化微调策略改进，内容包括LLM强化微调的原理，LLM能解决什么实际问题，LLM强化学习的关键步骤，KL散度的定义，损失函数的设计，以及改进后模型的性能，拓宽了大家对LLM强化微调的思路。
Agentic RL：从数据工程到训练策略设计
华为技术有限公司的高级工程师袁帅在《Agentic RL：从数据准备到训练策略设计》的主题分享中，首先介绍了强化学习在SOTA模型后训练时代的重要性以及Agent RL面临的挑战，然后从数据准备、奖励与探索设计、训练策略三个维度分别展开了详细介绍，让大家对Agentic RL有了更深的了解。
活动期间，与会者还特别参观了招商银行数字金融展厅，沉浸式体验了招商银行在金融科技领域的最新应用成果，包括在云计算、人工智能、大数据等领域的创新实践，令参观者深刻感受到金融科技为金融服务带来的变革与提升。
👇点击关注ModelScope公众号获取
更多技术信息~