← 返回话题列表

# PiSSA

相关话题

2024-04-12

大模型架构革新

谷歌Infini-Transformer实现“无限上下文”，北大PiSSA改进LoRA初始化，RWKV等新结构挑战Transformer霸权，显著降低长文本与微调成本，为大模型轻量化与长记忆应用铺平道路。
Infini-Transformer PiSSA RWKV 长上下文 模型架构
📰 4 条相关内容 查看详情 →