← 返回话题列表

# TACO-LLM

相关话题

2024-04-10

大模型推理与部署优化

腾讯TACO-LLM推理引擎、PyTorch量化工具包Quanto、calm极限速度实现接连发布，聚焦降低延迟与显存占用，解决大模型“最后一公里”部署难题，助力企业私有环境高效上线。
推理优化 量化 部署 TACO-LLM calm
📰 3 条相关内容 查看详情 →