← 返回系列列表

通义大模型 1 个模型

阿里巴巴 · 2025.05 - 2025.05

发布时间线

2025.05.28
CoGenAV
采用“对比生成同步”策略,利用ResNet3D CNN分析唇部动作与Transformer提取音频特 ...
发布日期 公司 模型名称 类型 特性
2025-05-28 阿里巴巴 CoGenAV 主流 采用“对比生成同步”策略,利用ResNet3D CNN分析唇部动作与Transformer提取音频特征进行精确对齐、通过Seq2Seq Contrastive Learning和生成同步训练提升音视频特征对应关系及跨模态融合效率、具备出色的抗噪能力和数据效率,仅用223小时唇动视频训练即可达到媲美传统模型的效果、可直接接入主流语音识别模型(如Whisper),无需修改或微调即可实现视觉语音识别功能