據稱是世界上第三功能最強的多模式型號，僅次於GPT 4-V和Gemini Ultra。
它特別擅長理解用戶界面，這意味著它可以解釋和操作各種軟體和應用程式的界面。
它可以幫助用戶執行各種任務，例如自動化流程、響應查詢和提供信息。
Adept Fuyu-Heavy在多項評估和基準中表現出色。
1.多模式基準：在MMM（多模式多任務）基準測試中，Fuyu-Heavy的表現優於Gemini Pro，凸顯了其在多模式任務方面的能力。
2.文本基準：儘管Fuyu-Heavy需要分配一些容量來處理圖像數據，但它在標準純文本評估中的表現大致與Gemini Pro相當，甚至在MMLU（多模式語言理解）基準方面優於Gemini Pro。
3.長篇對話性能：經過監督微調和直接優化階段，Fuyu-Heavy在最常用的聊天評估（MT-Bench和AlpacaEval 1.0）中的表現與Claude 2.0相當，儘管它是一個較小的模型，部分容量用於圖像建模。
4.多模式性能標準：Fuyu-Heavy在MMM（多模式多任務）基準上的表現略優於Gemini Pro。此外，還包括VQAv 2（視覺問答基準）和AI 2D（圖形理解數據集）的結果。
Adept Fuyu-Heavy的主要功能包括：
1.多模式理解和生成：Fuyu-Heavy能夠處理和理解文本和圖像等多種類型的數據，並能夠基於這些數據生成相應的輸出。這使得它在多模式任務中表現出色。
2.高效的圖像和文本處理：儘管需要一定的圖像建模能力，但Fuyu-Heavy在標準文本基準方面優於同類模型。
3.優化的模型架構：Fuyu-Heavy擴展和優化了Fuyu架構，以有效處理任意尺寸和形狀的圖像，並有效利用現有的Transformer模型優化。
4.長篇對話表現：經過針對特定訓練階段優化後，Fuyu-Heavy在長篇對話和互動中表現出色。
5.用戶界面理解：特別善於理解數字用戶界面（UI）（例如網站和應用程式），以提供有效的自動化解決方案。這意味著Fuyu-Heavy的開發重點是使其能夠適應和優化數字代理的功能，例如提高用戶界面理解、增強自動化決策能力以及提供更準確的信息檢索和內容生成。
6.跨模式內容生成：能夠生成跨越文本和圖像的內容，適合多種應用場景。
詳細信息：https://adept.ai/blog/adept-fuyu-heavy
視頻：