2026-05-30
大模型优化算法创新
香港中文大学研究团队提出新型优化器Pion，针对AdamW和Muon在大模型训练中的失稳问题，创新性地在等谱流形上进行参数更新。该优化器提升了大模型训练的稳定性和收敛效率，为解决超大规模模型训练中的优化难题提供了新思路，对降低训练成本和提升模型性能具有重要实践价值。
2024-11-27
Scaling Law争议与训练提速
OpenAI高调反驳“Scaling Law撞墙”论，同时北大、复旦等团队提出FAN、Two-Player架构及C-AdamW优化器，在保持性能前提下实现1.47倍训练加速，为大模型继续扩展提供新路径，直接影响算力需求与研发成本。