2025-01-30
低精度训练新范式
微软首发FP4训练框架，在保持BF16精度的同时将显存与能耗减半，为大模型训练成本下降提供可扩展路径，利好国产卡与边缘算力部署。
2024-12-31
超低比特量化与算力革命
字节 1.58-bit FLUX 模型内存降 7.7 倍性能反增，Will 小哥 GPT-3 20MB 训练法算力省 97%，标志着低精度训练与推理从论文走向可用，将重塑端侧与云端成本结构。
2024-12-29
大模型极限压缩与低精度训练
腾讯提出LLM量化scaling laws，指出低精度仅对未充分训练模型有效；同期1.58-bit训练GPT-3级模型仅20MB存储、算力降97%，引爆边缘部署与成本革命，预示“超小模型”时代或提前到来。
2024-11-18
Scaling Law 精度危机
哈佛、MIT、北大、华为等机构连续发文指出：低比特量化与参数/数据增长不可兼得，传统Scaling Law在精度维度遇阻，低精度加速路线面临终结，或将迫使行业重新设计算力与训练策略。
2024-11-13
Scaling Law受质疑
Ilya公开反思“越大越好”，MIT提出测试时训练、7-8位精度训练等新思路，业界热议大模型扩展法则或遇瓶颈，算力需求与训练策略面临重构，将直接影响芯片、云服务和AI系统架构未来走向。