一张照片、一段音频,通义App上线照片唱歌功能
大河财立方
2024-04-25 18:49:24
4月25日,一款名为EMO模型上线通义App,开放给所有用户免费使用

【大河财立方 记者 陈薇】把一段音频、一张照片输入AI模型,就能让图中人物开口唱歌说话,让奥黛丽赫本唱《上春山》、陶俑仕女说英文RAP、爱因斯坦说中文段子。4月25日,一款名为EMO模型上线通义App,开放给所有用户免费使用。

打开通义App,进入“全民舞台”频道,就可来到EMO产品页面“全民唱演”。在歌曲、热梗、表情包中任选一款模板,上传肖像照片,EMO随即就能合成视频。

通义App首批上线了80多个EMO模板,包括热门歌曲《上春山》《野狼disco》等,以及网络热梗“钵钵鸡”“回手掏”等。目前通义App暂不开放用户自定义音频,用户只能选择App预置的音频来生成视频。

EMO是通义实验室研发的AI模型,其背后的肖像说话(Talking Head)技术处于当前大热的AIGC领域。此前,想让平面的肖像说话,需要针对人脸、人头或者身体部分做3D建模,通义实验室则实现了无需建模就可驱动肖像开口说话,不仅降低视频生成成本,还大幅提升了视频生成质量。

此外,EMO学习并编码了人类表达情绪的能力,能将音频内容和人物的表情、嘴型匹配,还能把音频的语气特征和情绪色彩反映到人物微表情上。

2月底,通义实验室公布相关论文,EMO随之成为继SORA之后最受关注的AI模型之一。现在,通义App让所有人都可免费体验前沿模型的创造力。未来,EMO技术有望应用于数字人、数字教育、影视制作、虚拟陪伴、电商直播等场景。

在EMO功能上线之前,通义App此前还推出了现象级应用“全民舞王”,社交平台曾掀起“兵马俑跳科目三”“金毛跳舞”等热点。全民舞王背后的模型Animate Anyone也出自通义实验室。

在文图领域,通义App还陆续推出了超长文档解析、AI编码助手、AI会议助手等免费实用功能。

责编:史健 | 审校:张翼鹏 | 审核:李震 | 监审:万军伟


分享至:
相关资讯
下载