該項目基於OpenAI的Whisper模型,利用FastAPI的同步功能對其進行高效包裝,支持同步任務排隊、文件處理、網絡爬蟲等自定義功能。
「Fast-Powerful-Whisper-AI-Services-API」的願景是創建一個強大且開箱即用的Whisper服務API,該API專為高性能、高度可擴展和分布式處理需求而設計,並基於生產者-消費者模型。它構建於設計的核心,非常適合需要大規模、高效自動語音識別的場景。該項目基於OpenAI Whisper模型和Faster Whisper模型,具有更快的推理速度和類似的準確性。支持多種語言的高質量語音轉錄和翻譯任務,內置的爬蟲模塊可以輕鬆實現抖音、TikTok等社交媒體平台上的視頻處理。您只需進入連結界面即可輕鬆創建任務。
該系統通過同步模型池解決方案實現高效的資源調度和任務管理,同步模型池支持使用多個圖形處理器進行並行計算,提供完全本地化、高度可擴展、可靠的解決方案。此外,該項目計劃實現一組靈活的自定義組件和工作流程設計,允許用戶通過SON文件定義複雜的多步驟任務流,或通過Python編寫自定義組件以擴展功能。內置高性能同步HTP模塊、同步文件IO模塊、同步資料庫模塊。用戶可以使用這些模塊編寫自己的服務或任務處理器來擴展業務。未來,他們計劃與ChatGPT等LLM API連接,實現自動語音識別。來自自然語言處理和分析的完整工作流程。
Github:https://github.com/Evil0ctal/Fast-Powerful-Whisper-AI-Services-API
輸油管: