2026-09-27

推理优化与硬件基础设施

大模型推理效率与硬件协同优化取得突破。Colibrì实现无GPU、25GB内存笔记本运行744B参数模型,推动大模型平民化;Inferact为TPU v7定制引擎,运行Kimi较GPU快57%。两项进展分别从端侧与云端降低使用门槛,彰显软硬件协同优化的核心价值。
2024-08-19

端侧AI与硬件协同

苹果Apple Intelligence被曝安全缺陷,Gemini Live抢跑52亿终端,硬件级混合矩阵乘法研究出炉,端侧大模型在性能、安全、能耗三维度同步承压。
2024-03-09

AI硬件加速与边缘算力革新

Groq LPU凭500 token/s刷新推理速度,微软Surface新品搭载“AI CPU”抢占AI PC入口,硬件专用化趋势明显,为端侧大模型与实时应用打开落地窗口。