2024-11-13
Scaling Law受质疑
Ilya公开反思“越大越好”，MIT提出测试时训练、7-8位精度训练等新思路，业界热议大模型扩展法则或遇瓶颈，算力需求与训练策略面临重构，将直接影响芯片、云服务和AI系统架构未来走向。
2024-11-12
Scaling Law 触顶与范式转向
OpenAI、Sutskever、MIT 等密集释放信号：单纯堆参数和数据的“预训练 Scaling”边际收益骤降，行业正转向测试时训练、多模态推理、MoE 稀疏激活等新范式，以缓解数据枯竭与算力瓶颈，决定下一代模型路线图。
2024-07-10
Transformer 架构革新
谷歌百万专家 Mixture、斯坦福 TTT 等新架构集中亮相，通过稀疏激活或测试时训练替代传统注意力，显著降低算力并提升长文本与多模态能力，可能重塑大模型扩展路径。