2025-01-03
非Transformer新架构崛起
RWKV、LiNo等新型架构接连获投或发论文,力图打破Transformer垄断,降低算力依赖并提升长序列效率,标志大模型基础结构进入多元竞争时代,对芯片、框架及下游应用影响深远。
2024-09-05
终端AI与硬件加速
英特尔发布Ultra 200V系列旗舰AI PC芯片,长虹将推首款AI电视自研云帆平台,Win11内置国产RWKV大模型,终端侧算力与模型深度耦合,边缘AI体验进入“无感集成”阶段。
2024-04-13
大模型架构革新
RWKV新架构Eagle/Finch、谷歌Infini-attention“无限上下文”及GPT-4 Turbo引入Q*,共同掀起Transformer替代与上下文长度革命,显著降低计算与内存成本,为长文档、多轮对话及推理任务打开新天花板,被视作迈向下一代基础模型的关键拐点。
2024-04-12
大模型架构革新
谷歌Infini-Transformer实现“无限上下文”,北大PiSSA改进LoRA初始化,RWKV等新结构挑战Transformer霸权,显著降低长文本与微调成本,为大模型轻量化与长记忆应用铺平道路。