這是一個伺服器項目,為Apple設備上的本地模型提供OpenAI兼容的API,使開發人員更容易在本地運行和調用類似於OpenAI接口的模型服務。
項目 gety-ai/蘋果設備上開放(英文名是 Apple On-Unit OpenAI API這是一個很酷的工具,其核心功能是:
項目概況
- 這是使用SwiftUI構建的macOS應用程式。它在本地啟動與OpenAI API兼容的伺服器,然後後台調用 蘋果自己的設備上基礎型號(也稱為Apple Intelligence)
- 您的應用程式或腳本可以使用OpenAI,只要它最初可以使用OpenAI
/v1/chat/完成界面上,您可以將請求轉發到該本地伺服器以實現AI聊天功能。數據不會離開您的設備,確保隱私和低延遲。
為什麼它很有價值?
隱私保護:所有計算均在本地完成,不將用戶數據發送到外部伺服器。
功能亮點
- 🚀 OpenAI移植接口:提供OpenAI喜歡
/v1/chat/完成(支持流媒體)和其他端點,以及/v1/models查詢可用型號。 - 🖥️ 使用SwiftUI作為前端:創建與macOS配合使用的圖形界面應用程式可以規避蘋果對命令行工具調用模型的費率限制
- 🔧 可以自行編寫或直接下載:您可以從發行版下載預編譯的應用程式,也可以使用Xcode編譯和運行克隆原始碼
使用過程(簡單示意圖)
- 確保您的Mac正在運行 macOS 26測試版 並且Apple Intelligence功能已打開(需要在設置中打開)
社區討論
一些開發者親自在論壇上分享:
「我將蘋果新的設備上模型包裝在OpenAI兼容的API中」
例如,說到這份工作 開源、麻省理工學院許可 它還強調「客戶可以使用OpenAI的調用方法,讓本地沒有數據。"
總結:這個項目做了什麼?
這個項目相當於在當地建一座橋,它將Apple設備上的原生AI模型轉換為標準OpenAI API接口,允許您使用Apple的設備上人工智慧聊天,而無需更改現有代碼。特別適合追求隱私、安全、低延遲,以及已經依賴OpenAI API的開發人員和系統。
Github:https://github.com/gety-ai/apple-on-device-openai
輸油管:
參考連結
- GitHub: https://github.com/gety-ai/apple-on-device-openai
- Reddit討論: https://www.reddit.com/r/LocalLLaMA/comments/1lc6tii/i_wrapped_apples_new_ondevice_models_in_an
- 中等教程: https://garysvenson09.medium.com/bridge-apple-on-device-llms-to-openai-api
- 博客: https://apidog.com/blog/how-to-convert-apple-on-device-llm-to-openai-compatible-api