AI快开门
发现最好的AI工具
首页
分类
模型
模型历史
模型排名
模型价格
话题
简报
搜索
← 返回话题列表
#
单卡推理
相关话题
2024-08-04
大模型压缩与高效推理
Llama 3.1 405B被压缩至单卡80 GB可跑,GitHub向1亿开发者开放顶级模型API,显示“大模型瘦身”与“普惠化”同步加速,将显著降低算力门槛、刺激应用爆发。
模型压缩
单卡推理
开源普惠
算力门槛
GitHub