2026-05-30
大模型优化算法创新
香港中文大学研究团队提出新型优化器Pion，针对AdamW和Muon在大模型训练中的失稳问题，创新性地在等谱流形上进行参数更新。该优化器提升了大模型训练的稳定性和收敛效率，为解决超大规模模型训练中的优化难题提供了新思路，对降低训练成本和提升模型性能具有重要实践价值。
2024-05-05
多模态学习新范式
港中文与腾讯CVPR‘24研究证实，即使与任务无关的视频、音频、点云数据也能显著提升Transformer性能，降低标注需求。该发现为低资源场景提供新思路，推动通用多模态大模型与数据效率优化。