2026-06-04

端侧AI与本地部署突破

谷歌发布Gemma 4 12B开源模型,采用无编码器架构,可在16GB内存设备上本地运行,标志着端侧AI能力重大提升。配合AI Edge Gallery登陆macOS,用户可离线运行多模态模型。红魔平板集成豆包大模型,显示端侧AI在硬件终端的渗透加速,推动AI从云端向边缘计算迁移。
2025-10-18

轻量化模型与端侧OCR

百度0.9B PaddleOCR-VL横扫4项SOTA并登顶Hugging Face,证明“小模型+多模态”在文档解析场景已可替代大模型,实现PC级本地部署。端侧轻量化趋势将降低开发者门槛,推动OCR、文档理解在政企、教育、金融场景快速渗透。
2024-11-05

消费级硬件与端侧 AI

Meta 推出量化 Llama 移动版,苹果端侧 Core ML 优化 Llama-3.1-8B 达 33 token/s,Xbox AI 聊天机器人上线,终端设备正成为大模型新战场,边缘推理体验快速提升。