📢 X投稿文
歌詞とスタイルからメロディ・コード進行を自動生成。ボーカル伴奏付きの楽曲を完成させます。生成メロディの編集も可能
https://github.com/multimodal-art-projection/YuE
🤖 AI考察
■ 概要
歌詞とスタイルプロンプトからメロディ・コード計画を生成し、ボーカル付き完全な歌曲を合成する統合型音楽生成システム。
■ 特徴・用途
- **アーキテクチャ**: シンボル領域(楽譜/MIDI)とオーディオ領域を単一パイプラインで統合、中間表現(メロディ+コード)を明示的に扱う設計により編集可能性と再現性を確保
- **モデル効率**: 3Bパラメータで「フロンティア品質」を標榜、MERT2(音楽理解)・SheetSage2(楽譜解析)の補助モデルとの組み合わせで多層化
- **検証方法**: 公開研究(Music Arena)で既存の商用システムと人間による直接比較を実施中、透明性が高い
■ 結論
シンボル生成→オーディオ合成の統合パイプラインは編集性と制御可能性を両立させており、従来の単一領域型より実用的な応用(キャリア制御、スタイル転換)に向く。