可以自動識別不同的聲音源並將其從視頻中分離出來，並與圖片位置進行匹配。
例如，它可以識別視頻中哪個角色正在說話或正在演奏哪個樂器。
還可以單獨提取和分離這些聲音源的聲音。
PixelPlayer可以學習和分析自己，而無需手動注釋數據。
該能力為音頻和視頻編輯、多媒體內容製作、增強現實應用等領域提供了強大的工具，可以獨立調整視頻中不同聲音源的音量、刪除或增強特定聲音源等。
例如：可以用於給人工智慧視頻配音！
PixelPlayer的核心功能包括：
1.聲音源分離：PixelPlayer可以通過分析視頻將聲音信號分離成多個分量，每個分量對應視頻中的特定區域。這使得系統能夠識別和分離視頻中的不同聲音源，例如不同樂器的聲音。例如，將視頻中的聲音、樂器等分離為單獨的音軌。
2.聲音定位：除了分離聲音外，PixelPlayer還可以定位聲音的來源，即確定視頻中的哪個區域產生了特定的聲音。這意味著系統可以識別聲音來自視頻中的哪個特定對象。例如，它可以識別視頻中哪個角色正在說話或正在演奏哪個樂器。
3.多聲音源處理：即使視頻中有多個同時發出聲音的聲音源，PixelPlayer也可以單獨識別和處理它們。
工作原理：
1.大規模視頻培訓：PixelPlayer系統上的培訓使用大量視頻，其中包含人們演奏不同樂器組合，包括獨奏和二重唱。培訓過程中沒有提供有關視頻中出現哪些樂器、它們的位置或聲音的信息。
2.數據驅動學習：重要的是PixelPlayer可以執行這些複雜的分析和處理，而無需手動注釋數據。傳統的機器學習方法通常依賴於大量注釋數據來教模型識別和處理信息。相比之下，PixelPlayer通過觀看大量未標記的視頻來學習理解聲音與圖像之間的關係，實現了對聲音源的分離和定位。這是一種自學能力。
3.視頻和音頻同步的利用：PixelPlayer依賴於視覺和音頻模式之間的自然同步，即聲音的產生通常與視覺元素（例如人類運動或樂器的演奏）相關。通過分析這種同步關係，PixelPlayer學習不同對象或行為產生的聲音特徵。
4.聲音與像素的相關性：系統通過聲音和圖像的聯合分析，為視頻中的每個像素分配聲音分量，實現聲音的準確定位和分離。這種方法允許PixelPlayer識別視頻中哪些區域正在產生聲音，並將聲音分解為代表每個區域聲音的分量。
5.聲音分離技術：使用先進的聲音處理技術，例如源分離算法，將混合的音頻信號分離成多個獨立的聲音通道，每個通道對應視頻中的一個聲音源。
應用場景：
1.音頻和視頻源分離：PixelPlayer可以自動將各種聲音源與視頻分離，例如樂器聲音。這對於音樂製作和編輯非常有用，允許音頻工程師和製作人將單個樂器曲目與複雜的錄音分開，以進行更精確的音頻處理和混音。
2.聲音定位：通過定位視頻中生成聲音的特定位置，PixelPlayer為增強現實（AR）和虛擬實境（VR）應用程式提供了新的可能性。在AR/VR環境中，根據用戶的視角和交互真實地模擬聲音來源可以極大地增強用戶體驗。
3. AI內容配音：在電影製作、視頻遊戲開發和在線教育等領域，PixelPlayer可以幫助內容創作者更輕鬆地配音視覺內容，例如自動為動畫中的不同角色或對象添加特定的音效。
4.自動生成字幕和描述：對於聽力障礙的人，PixelPlayer可以通過識別和分離視頻中的聲音來源來幫助自動生成更準確的字幕和音頻描述，提高視頻內容的可訪問性。
5.音頻可視化：PixelPlayer提供了一種創新的方式來可視化聲音和音樂。通過將聲音與視覺內容直接關聯，可以創建新穎的音樂可視化體驗，例如基於音樂視頻中樂器位置的動態聲音可視化。
6.音樂教學：在音樂教育中，PixelPlayer可用於顯示合奏中不同樂器的聲音分布和特徵，幫助學生更好地了解音樂的結構和樂器之間的互動。
7.研究與開發：作為一個研究項目，像素之聲推進了跨模式學習（即同時處理和理解多種感官信息）的研究邊界，為未來人工智慧系統的開發提供了新的視角和工具。
通過該項目，麻省理工學院的研究團隊不僅推動了音頻和視頻處理服務媒體處理服務技術的邊界，還為多模式人工智慧研究和應用提供了新的視角和工具。
項目和演示：http://sound-of-pixels.csail.mit.edu
論文：https://arxiv.org/abs/1804.03160
GitHub：https://github.com/hangzhaomit/Sound-of-Pixels
視頻：