← 返回系列列表
M6 2 个模型
发布时间线
2021.11.09
M6-10T
1. 10万亿参数规模,512张GPU训练10天
2. 自研Whale分布式框架,支持粒度可控的CP ...
2021.05.15
M6
采用MoE架构及改良的expert prototyping技术解决负载不均衡问题、仅用480张NVI ...
| 发布日期 | 公司 | 模型名称 | 类型 | 特性 |
|---|---|---|---|---|
| 2021-11-09 | 阿里巴巴 | M6-10T | 主流 | 1. 10万亿参数规模,512张GPU训练10天 2. 自研Whale分布式框架,支持粒度可控的CPU offload 3. 采用共享解除(Pseudo-to-Real)训练策略,加速收敛 4. 结合StyleGAN实现少样本图像自动生成,生成接近实物照片效果 |
| 2021-05-15 | 阿里巴巴 | M6 | 主流 | 采用MoE架构及改良的expert prototyping技术解决负载不均衡问题、仅用480张NVIDIA V100 GPU完成训练,实现低碳高效、生成图片分辨率提升至1024×1024,支持高清细节、具备跨模态搜索能力,支持以图搜图及语义匹配、已投入犀牛智造、支付宝、淘宝等商业场景 |