2026-01-03
大模型高效微调
Nat. Mach. Intell. 提出的 scPEFT 框架用低维适配器冻结主干，实现单细胞大语言模型任务与物种迁移，参数与显存下降 90% 以上，缓解灾难性遗忘，为生命科学大模型落地提供低成本范式。
2024-09-16
高效微调框架LoRA-Dash登场
上交大与哈佛联合推出LoRA-Dash微调框架，针对特定任务方向优化低秩适配，显存与算力需求较LoRA再降30%以上，在Code、Math、MedQA等基准上取得SOTA，为中小企业和边缘端模型定制提供新工具。
2024-04-28
大模型高效压缩与微调
港大&北航联合研究显示Llama 3低比特量化性能显著下降，引发社区对端侧部署可行性的再评估；同时参数高效微调综述与多模态开源模型XVERSE-V、ViTamin等发布，为降低训练与推理成本提供新工具，推动大模型在资源受限场景落地。