Octopus-V2-2B由史丹福大學的Nexa AI開發,專為Android API的函數調用而定製。
採用了獨特的功能標記策略,超越了基於RAG的方法,特別適合邊緣計算設備。
它比Llama 7 B + RAG解決方案快36倍,性能優於GPT-4,延遲時間小於1秒。
它可以直接在行動裝置上運行,支持廣泛的應用場景,推動Android系統管理和設備之間協作工作的新方式。
其快速高效的推理能力特別適合需要高性能、精確功能調用的場景,例如智能家居控制、移動應用開發等。
🔑特殊標誌最大限度地降低錯誤率:為每個函數指定唯一標誌,大大降低了函數選擇的錯誤率。將上下文縮短95%以上。
準確性出色:每個功能僅需100個樣本,準確率達到驚人的98.095%。
縮短響應時間:與基於RAG函數調用的Llama-7 B相比,我們的方法將延遲減少了35倍。
典型查詢在設備上運行時間為1.1至1.7秒。️
實際應用:移動智能設備可以進行改造,實現與地圖、送餐等各種服務的無縫交互。
論文:https://arxiv.org/abs/2404.01744
型號下載:https://huggingface.co/NexaAIDev/Octopus-v2
視頻: