← 返回话题列表

# 反向传播

相关话题

2024-07-12

Transformer核心优化突破

FlashAttention-3与LowMemoryBP相继发布，H100利用率飙至75%，显存与速度兼得；训练GPT-2成本跌破700美元，反向传播效率再升级，为大模型普及与端侧部署奠定工程基础。
FlashAttention 显存优化 反向传播 训练成本
📰 5 条相关内容 查看详情 →