← 返回话题列表

# Pion

相关话题

2026-05-30

大模型优化算法创新

香港中文大学研究团队提出新型优化器Pion，针对AdamW和Muon在大模型训练中的失稳问题，创新性地在等谱流形上进行参数更新。该优化器提升了大模型训练的稳定性和收敛效率，为解决超大规模模型训练中的优化难题提供了新思路，对降低训练成本和提升模型性能具有重要实践价值。
优化器 Pion AdamW 港中文 等谱流形
📰 10 条相关内容 查看详情 →