2025-03-15
Transformer架构革新
何恺明与LeCun团队提出DyT，用9行代码移除归一化层，性能不降反升，已被CVPR 2025收录；同期清华开源「赤兔」推理引擎，国产软硬协同加速落地。双重突破挑战Transformer「标配」认知，为高效大模型训练与端侧部署打开新路径。
2024-07-02
模型效率与架构革新
韩国团队提出拆分注意力机制的Transformer新架构，解码提速20倍；北大&腾讯等通过医疗持续预训练将8B模型推至GPT-4级性能；LayerNorm非线性表达研究挑战传统激活函数。后训练优化与高效架构成为降低算力门槛、推动端侧及垂直场景落地的关键。