密西根大學與 Adobe Research 聯手推出 AI 系統 MultiFoley

2024年12月03日

密西根大學與 Adobe Research 聯手開發了 MultiFoley，一款專為影片後期製作設計的 AI 系統。該系統能根據文本提示、參考音頻或影片樣本，自動生成高品質且與畫面同步的音效，為創作者提供靈活的音效製作工具。

MultiFoley 的核心技術在於其多模態生成能力，允許用戶通過多種方式控制音效生成：

• 文本控制：用戶可輸入描述性文本，生成符合特定場景的音效，例如為滑板輪子的旋轉聲去除風噪，或將獅子的咆哮聲變為貓的喵喵聲。
• 音頻控制：透過從音效庫中選取參考音頻，MultiFoley 能生成與參考音頻風格一致且與影片同步的音效。
• 影片控制：利用部分影片作為條件，系統可延伸現有音軌，生成完整的 Foley 音效。

該系統通過聯合訓練互聯網影片資料集和專業音效錄音，實現高品質、全頻段（48kHz）的音頻生成。自動化評估和人類研究表明，MultiFoley 在不同條件輸入下，成功生成同步且高品質的聲音，並在性能上超越現有方法。

MultiFoley 的推出，為電影製作、遊戲開發等創意領域帶來革命性的變革。它不僅提高了音效製作的效率，還為創作者提供更大的創意空間，能夠輕鬆實現從真實細節到創意效果的音效生成。

如需了解更多資訊，請訪問：https://ificl.github.io/MultiFoley/