Mamba架构 - AI话题

2024-07-18

微软Q-Sparse、Mistral Mamba、斯坦福DCLM等研究通过稀疏激活、线性推理、数据筛选等机制，在8B甚至更小参数下逼近7B+模型性能，挑战传统Scaling Law，为端侧和低成本训练提供新路径。

AI快开门