2025-10-02
大模型微调与推理创新
蚂蚁&港大PromptCoT 2.0用强化学习自博弈合成任务，30B模型数学代码刷新SOTA；Thinking Machines推出Tinker一站式后训练工具，LoRA微调门槛骤降；DeepSeek开源TileLang国产GPU语言，华为昇腾Day0适配，底层生态加速自主化。
2025-05-02
超长上下文与高效推理突破
英伟达与UIUC把Llama上下文扩至400万token创SOTA；微软Phi-4系列以小参数量逼近GPT-4o推理表现；LoRA冗余研究称可剪枝95%参数不降性能，推动端侧与低成本部署。
2024-09-17
高效微调与硬件革新
上交&哈佛提出LoRA-Dash，把特定任务微调参数量再降8-16倍；Nature研究发布新型忆阻器，能效达Haswell CPU的460倍，为昂贵LLM的端侧部署与节能训练提供新路径。
2024-09-16
高效微调框架LoRA-Dash登场
上交大与哈佛联合推出LoRA-Dash微调框架，针对特定任务方向优化低秩适配，显存与算力需求较LoRA再降30%以上，在Code、Math、MedQA等基准上取得SOTA，为中小企业和边缘端模型定制提供新工具。
2024-08-13
超长文本与注意力架构突破
树注意力、多-LoRA、非Transformer等新架构将500万token级长文本推理提速8倍，并降低118倍训练成本，标志着大模型基础设施进入“长上下文+低成本”时代，为行业应用打开天花板。
2024-05-21
模型训练方法反思
哥伦比亚与Databricks研究显示LoRA在数学、编程任务精度仅为全量微调80%-90%，但遗忘更少；北大教授指出“只会闲聊的大模型用户不买单”，强调垂域应用与数据策略需重新评估。
2024-05-20
模型训练与架构创新
Meta 34B Chameleon 10万亿token训练刷新SOTA，KAN卷积化、GPU高级语言、扩散模型替代湍流模拟等底层创新涌现；LoRA在数学编程任务上不敌全量微调，提示“参数高效”并非万能，训练范式仍在快速演化。
2024-05-09
模型训练降本增效
Unsloth框架结合QLoRA把Llama3-8B微调显存压缩至7.75GB，1080Ti即可训练；ICLR颁发首届时间检验奖给VAE，凸显高效训练与生成式基础架构持续创新，将降低中小团队进入大模型研发的门槛。
2024-02-04
模型架构效率革新
华为LocMoE、Mamba字节级训练、匿名LoRA流式更新等方案同步突破MoE与长文本效率瓶颈；谷歌Bard更名Gemini并推Ultra 1.0，性能升级但转向付费，行业竞速再升级。
2024-01-08
大模型推理与架构优化
聚焦2024年初大模型在推理速度、上下文长度、参数效率等核心瓶颈上的突破，涵盖LoRA压缩、RAG召回、多轮对话加速、上下文扩展四行代码等方案，为端侧部署与企业降本提供关键支撑。
2024-01-02
大模型架构革新
2024年初，华为盘古π、Mamba等新架构相继亮相，试图以线性复杂度替代Transformer，解决特征塌陷与长序列瓶颈；同时MoE+FlashAttention2、LoRA等工程优化让10行代码即可实现千亿级模型的高效推理与微调，标志大模型进入“后Transformer”竞争时代。