2025-02-03
Scaling Law再讨论
业界热议“堆参数”边际收益递减，Cameron Wolfe长文指出大模型扩展面临数据与算力瓶颈，呼吁转向高效架构、数据精炼及跨学科方法；同期多项研究聚焦知识蒸馏、高质量数据集构建，预示后预训练时代“精炼+蒸馏”成新主线。
2024-12-14
预训练时代终结论
OpenAI 前首席科学家 Ilya Sutskever 在 NeurIPS 2024 公开断言：互联网文本数据已被“榨干”，基于大规模预训练的传统范式即将终结。该观点引发全球研发路线震荡，行业被迫加速探索后预训练时代的新算法与数据策略，直接影响未来 3-5 年模型迭代节奏与资本投向。