2026-01-04
Scaling Law受挑战与架构创新
DeepSeek提出流形约束超连接(mHC)改造残差连接、KAN作者再发檄文反思暴力堆参数,显示行业开始探索不依赖纯规模扩张的新架构,有望降低训练成本并提升可解释性。
2026-01-02
算力军备竞赛升级
英伟达被实测性价比碾压AMD 15倍,DeepMind内部重申“算力即一切”,Scaling Law生死辩论再升温。硬件溢价与缺货同步发酵,5090等新品或涨价150%,预示2026年AI仍被算力卡脖子,得芯片者得模型。
2026-01-01
Scaling Law瓶颈与范式反思
Ilya、Hinton、LeCun等顶级学者公开质疑“堆算力+堆参数”路线;NUS尤洋指出300亿美元也难再训出GPT-4级跃迁,行业需回归架构创新与理论突破,预示大模型竞赛从“暴力美学”转向效率与科学驱动。
2025-12-21
2025大模型技术拐点
Karpathy、卡帕西等权威连续发声:o3、GPT-5、RLVR等标志大模型进入‘物理可验证’新阶段,Scaling Law仍在生效,行业潜力仅释放<10%,预示科研与产业应用同步爆发。
2025-12-16
大模型训练范式革新
CMU、Mamba作者等团队提出“压缩即智能”、无预训练76K小模型登ARC-AGI榜三,OpenAI开源99.9%稀疏模型,挑战堆数据、堆算力传统Scaling Law,揭示推理能力可脱离巨量预训练,为低算力、高可解释新路线奠基。
2025-12-07
Scaling终结与架构革新
Ilya、LeCun等顶尖学者公开宣告“纯靠堆参数”的Scaling Law进入收益递减期,行业开始转向原生多模态、视频推理、酶设计等新架构。NEO、Sora2、RFdiffusion2等模型验证“小算力+聪明结构”可超越传统大模型,标志AI研发范式从“越大越好”迈入“越巧越好”的新阶段,对芯片需求、创业路径和投资逻辑产生连锁冲击。
2025-12-01
Scaling Law遇瓶颈
Ilya公开宣称“单纯堆参数已死”,SemiAnalysis爆料OpenAI两年半未跑出新一代前沿模型,引发行业对“后预训练”范式的集体反思,世界模型、持续学习、数据合成成为新焦点。
2025-11-27
Scaling时代终结
Ilya Sutskever等顶级研究者连续发声,认为仅靠堆参数、堆算力的“Scaling Law”已撞墙,AI需回归基础科学与新范式。观点引发行业共振,标志大模型竞争从‘暴力美学’转向‘科学探索’,或将重塑研发资源分配与创业逻辑。
2025-11-05
具身智能与机器人爆发
从导航大模型、灵巧手到人形整机,国内 NavFoM、美团 LongCat-Flash-Omni、字节火山引擎、小鹏 VLA 等集中发布;海外 Mimic Robotics 获 1600 万美元、Rivian 成立 Mind Robotics,马斯克秘密采集人类行为数据训练机器人,行业进入“Scaling Law”时代,零样本导航、端到端技能学习、高压线运维等场景快速落地,标志着通用机器人从实验室走向产业临界点。
2025-10-26
Transformer架构反思与后注意力时代
“Attention”作者公开呼吁告别Transformer,叠加NeurIPS高分论文用判别式监督重塑推理LLM,凸显社区对Scaling Law边际效应的担忧,后Transformer架构与训练策略成为下一波核心竞争点。
2025-06-17
自动驾驶Scaling Law验证
小鹏汽车在CVPR 2025首次验证Scaling Law于自动驾驶领域的有效性,6亿秒视频训练后实现“智能涌现”,被视为自动驾驶的ChatGPT时刻,带动车厂跻身AI顶会核心圈。
2025-06-05
大模型训练成本骤降
Mary Meeker 340页报告确认:AI训练成本逼近10亿美元,推理成本却断崖式下降99%,叠加无监督熵最小化等后训练新方法,大模型普及门槛快速降低,行业进入“低价高可用”新阶段。
2025-06-01
大模型推理极限预警
OpenAI o3在10倍算力助推下能力飙升,但多方预警“撞墙”仅剩一年:继续Scaling需突破显存、能耗与数据瓶颈,行业或将转向稀疏化、硬件-算法协同设计等新路线,影响全球大模型竞赛节奏与投资方向。
2025-05-20
推理模型范式升级与测试时计算
OpenAI、翁荔、北大联合强调“测试时计算”是下一代Scaling Law,AlphaEvolve矩阵乘法48次乘法突破获实证,单样本RLVR在数学任务上达73.6%准确率,推理能力成为大模型军备竞赛新焦点。
2025-05-10
具身智能与机器人新十年
英伟达提出“物理图灵测试”,傅利叶发布十年具身智能规划,Jim Fan揭秘Scaling Law;国内上海张江已现机器人主持。具身智能被视作AGI终极考场,硬件+大模型+仿真数据三位一体,将重新定义劳动力与制造业。
2025-04-13
多模态与3D生成新工具
谷歌DeepMind拟整合Gemini与Veo打造全能助手;3D「源神」开源部件编辑与自动绑定框架,加上苹果揭示原生多模态Scaling Laws,显示多模态交互与3D内容生产进入工具链成熟阶段,将加速影视、游戏、XR内容爆发。
2025-03-01
英伟达财报与DeepSeek红利
英伟达Q4营收破纪录达1305亿美元,黄仁勋感谢DeepSeek带来新Scaling Law,推理需求暴增100倍,Blackwell芯片成“印钞机”,股价再冲高点。
2025-03-01
多模态小模型突破
微软发布56亿参数Phi-4-multimodal,在读图推理上超越GPT-4o;港科大等验证语音合成Scaling Law,小参数模型实现高性能,边缘部署前景广阔。
2025-02-11
Scaling Law与架构争议
OpenAI、奥特曼重申Scaling Law继续有效并预测成本年降10倍,而清华&字节研究指Transformer组合能力逼近上限,MIT提出COAT自回归搜索新框架,学界与产业界对下一代架构路径分歧加剧。
2025-02-03
Scaling Law再讨论
业界热议“堆参数”边际收益递减,Cameron Wolfe长文指出大模型扩展面临数据与算力瓶颈,呼吁转向高效架构、数据精炼及跨学科方法;同期多项研究聚焦知识蒸馏、高质量数据集构建,预示后预训练时代“精炼+蒸馏”成新主线。