2025-10-26
大模型推理与系统优化
NVIDIA联合港大、MIT推出Fast-dLLM v2，端到端吞吐提升2.5倍；同时上下文敏感框架解决位置偏差，显示大模型系统层创新仍是落地关键，硬件-算法协同优化空间巨大。
2024-10-12
大模型推理能力受质疑
苹果论文指出大模型在“废话”干扰下推理崩溃，学界再谈LLM逻辑谬误，引发对Scaling Law之外推理可靠性的深度反思。
2024-02-01
大模型推理与多模态突破
NVIDIA TensorRT-LLM、无注意力Eagle7B、LLaVA-1.6、MM-Interleaved等框架与模型相继发布，在推理速度、多模态理解、OCR等方向刷新SOTA；蚂蚁开源AI Infra实现大模型训练“自动驾驶”，降低行业门槛。