2024-12-01
本地部署与轻量模型新趋势
CPU可跑大模型、iPad AI绘画神器走红、无需Transformer的滤波器预测登顶NeurIPS，社区对“轻量化、端侧化、非Transformer架构”的探索升温。在算力垄断与云成本压力下，去中心化、低门槛的AI方案成为开发者新宠。
2024-10-02
非Transformer新架构突破
MIT CSAIL衍生团队推出Liquid Foundation Model，从第一性原理重构网络结构，同等参数下性能超越Transformer，并发布40B MoE版本，可扩展性与效率优势明显，为后Transformer时代提供新范式。
2024-10-01
模型架构新探索与评测
MIT团队基于非Transformer架构推出新模型，国防科大提出灵巧手抓取迁移方案，智源等机构征集2024 AI十大趋势，显示研究者在架构创新、跨任务迁移及行业洞察上的持续探索。
2024-08-13
超长文本与注意力架构突破
树注意力、多-LoRA、非Transformer等新架构将500万token级长文本推理提速8倍，并降低118倍训练成本，标志着大模型基础设施进入“长上下文+低成本”时代，为行业应用打开天花板。