文本生成音乐模型 MusicLDM 发布，有效解决版权等问题
2023-08-07 16:38:59
ZAKER科技
(资料图片)
品玩 8 月 7 日讯，据 Arxiv 页面显示，来自加州大学、蒙特利尔大学等多所高校的研究者近日联合发表论文，介绍了一款名为 MusicLDM 的文本生成音乐模型。
该模型利用 Stable Diffusion 和 AudioLDM 架构，通过在音乐数据样本集上重新训练对比性语言 - 音频预训练模型 ( CLAP ) 和 Hifi-GAN 声码器来实现。为了解决训练数据和版权问题，研究团队提出了两种不同的混合策略：节拍同步音频混合和节拍同步潜在混合，通过重新组合训练音频或通过潜在嵌入空间来生成新的音乐。使生成的音乐更多样化，同时仍忠于相应的风格。
研究显示，MusicLDM 改善了生成音乐的质量和新颖性，以及提示文本和生成音乐之间的关联性。
