AI快开门

发现最好的AI工具

2024-02-20

大模型推理优化与硬件竞速

LLM进入“毫秒级”交互时代,推理成本成为落地瓶颈。UC伯克利开源百万token上下文视频模型LWM,RWKV推出1%成本比肩7B的Eagle RNN,谷歌TPU系创业团队发布10倍于GPU的专用芯片,国内框架分享“榨干算力”实践,显示算法-芯片-系统协同优化正成为新战场。