2024-04-07
多模态理解与生成新SOTA
MiniGPT4-Video实现复杂视频诗意配文，刷新视频理解SOTA；国产天工SkyMusic采用Sora同款DiT架构，推出中文音乐版“ChatGPT”，补齐中文发音与情感表现力短板；腾讯AniPortrait让照片一键唱歌说话，多模态AIGC从理解到生成全面开花，预示短视频、广告、UGC内容生产流程将被重塑。
2024-04-02
生成式视频与音乐大模型爆发
OpenAI Sora 引爆文本生成视频热潮后，清华团队推出“idea 秒变微电影”工具，昆仑万维发布「天工 SkyMusic」音乐大模型，均支持分钟级时长、消费级可用，标志着 AIGC 从图文进入长时长、多模态、可商用的新阶段，内容创作门槛被进一步抹平。