AI快开门

发现最好的AI工具

← 返回话题列表

# MoE-LLaVA

相关话题

2024-02-10

模型小型化与MoE架构突破

北大、腾讯等推出的3B MoE-LLaVA以更少激活参数媲美7B稠密模型，Sebastian Raschka指出“大模型变小”已成年度趋势，模型合并+MoE成为主流方案，预示端侧部署与低成本推理将加速落地。
MoE-LLaVA 模型小型化 混合专家 端侧大模型 参数效率
📰 2 条相关内容 查看详情 →