← 返回系列列表
通义大模型 1 个模型
发布时间线
2025.05.28
CoGenAV
采用“对比生成同步”策略,利用ResNet3D CNN分析唇部动作与Transformer提取音频特 ...
| 发布日期 | 公司 | 模型名称 | 类型 | 特性 |
|---|---|---|---|---|
| 2025-05-28 | 阿里巴巴 | CoGenAV | 主流 | 采用“对比生成同步”策略,利用ResNet3D CNN分析唇部动作与Transformer提取音频特征进行精确对齐、通过Seq2Seq Contrastive Learning和生成同步训练提升音视频特征对应关系及跨模态融合效率、具备出色的抗噪能力和数据效率,仅用223小时唇动视频训练即可达到媲美传统模型的效果、可直接接入主流语音识别模型(如Whisper),无需修改或微调即可实现视觉语音识别功能 |