它是基於Project Aria AR眼鏡記錄的第一人稱多模式開放數據集。
它包含由五個地理位置的多名佩戴者記錄的143個日常活動序列。
這些記錄包括通過Project Aria眼鏡記錄的多模式傳感器數據以及機器傳感數據。
其中包括高頻全球對齊的3D軌跡、場吸引雲、每幀3D眼球運動載體和時間對齊的語音轉錄。
它提供豐富的多模式傳感信息和先進的機器傳感輸出，以支持人工智慧和AR研究。
該數據集的意義：
1.增強現實（AR）和人工智慧（AI）研究的進展
AEA數據集提供了豐富的多模式傳感器數據和機器感官輸出集合，對於新型增強現實和人工智慧技術的發展具有重要意義。利用這些數據，研究人員可以探索和開發可以理解和增強人類日常活動的算法和應用程式。
2.個性化和背景化人工智慧助手的創新
使用AEA數據集，您可以促進個性化和上下文化人工智慧助手的研究和開發。這些助手可以更好地了解用戶的環境和意圖，並提供更適合個人需求的服務和支持，例如通過分析用戶的眼球運動、語音和環境交互來預測和響應用戶需求。
3.第一人稱視角數據的價值
該數據集從第一人稱角度收集數據，為研究提供獨特的視角和深度。這種觀點對於了解人類如何與周圍環境互動並執行日常任務至關重要，並且可以幫助研究人員設計更自然、更直觀的交互界面和體驗。
4.多模式學習和感知的機會
AEA數據集通過提供視頻、音頻、3D軌跡和眼睛跟蹤等多種類型的數據，為多模式學習和感知提供了寶貴的資源。這些數據可用於訓練機器學習模型，以更全面地理解和解釋人類行為和環境背景。
通過AEA數據集的研究和利用，可以促進實際應用和產品的開發，特別是在增強現實、虛擬實境和智能可穿戴設備領域。這些技術的進步最終將對人們工作、學習和娛樂的方式產生深遠的影響。
數據集下載：http://projectaria.com/datasets/aea/
論文：https://arxiv.org/pdf/2402.13349.pdf
工具：http://ithub.com/facebookresearch/projectaria_tools
視頻：