2026-05-30
大模型优化算法创新
香港中文大学研究团队提出新型优化器Pion，针对AdamW和Muon在大模型训练中的失稳问题，创新性地在等谱流形上进行参数更新。该优化器提升了大模型训练的稳定性和收敛效率，为解决超大规模模型训练中的优化难题提供了新思路，对降低训练成本和提升模型性能具有重要实践价值。
2025-02-24
国产大模型训练降本
月之暗面开源改进版Muon优化器，算力需求较AdamW锐减48%，已被用于DeepSeek架构新模型；华为诺亚提出高效稀疏注意力ESA，进一步降低长文本训练与推理成本，国产大模型进入“低成本、高效率”新阶段。