2025-09-20
大模型训练成本与数据墙
Epoch报告预测2030年单模型训练成本超千亿美元，公开文本数据2027年枯竭，合成数据与能耗成为新瓶颈；Cursor取消无限量包月转向按token计费，凸显AI规模化商业模式承压，行业加速寻找可持续路径。
2025-06-02
数据瓶颈与自进化训练
CMU的SRT与Ubiquant熵最小化方法相继实现“零标注”自迭代，数学推理暴涨100%，10步即可收敛，宣告后训练告别昂贵RLHF，为互联网数据枯竭背景下的AGI路径提供可持续方案。
2024-12-15
预训练时代终结
OpenAI前首席科学家Ilya Sutskever在NeurIPS 2024连续发声，宣称互联网可用数据已逼近极限，基于海量数据的传统预训练范式即将终结，未来AI需转向具备自我意识的超级智能与数据高效利用的新范式，引发学界与产业界对Scaling Law的再思考。
2024-12-14
预训练时代终结论
OpenAI 前首席科学家 Ilya Sutskever 在 NeurIPS 2024 公开断言：互联网文本数据已被“榨干”，基于大规模预训练的传统范式即将终结。该观点引发全球研发路线震荡，行业被迫加速探索后预训练时代的新算法与数据策略，直接影响未来 3-5 年模型迭代节奏与资本投向。
2024-11-12
Scaling Law 触顶与范式转向
OpenAI、Sutskever、MIT 等密集释放信号：单纯堆参数和数据的“预训练 Scaling”边际收益骤降，行业正转向测试时训练、多模态推理、MoE 稀疏激活等新范式，以缓解数据枯竭与算力瓶颈，决定下一代模型路线图。