2026-09-27
推理优化与硬件基础设施
大模型推理效率与硬件协同优化取得突破。Colibrì实现无GPU、25GB内存笔记本运行744B参数模型,推动大模型平民化;Inferact为TPU v7定制引擎,运行Kimi较GPU快57%。两项进展分别从端侧与云端降低使用门槛,彰显软硬件协同优化的核心价值。
2024-08-19
端侧AI与硬件协同
苹果Apple Intelligence被曝安全缺陷,Gemini Live抢跑52亿终端,硬件级混合矩阵乘法研究出炉,端侧大模型在性能、安全、能耗三维度同步承压。