將Groq上運行的Llama-70 B模型與Whisper模型相結合，可實現接近零的延遲性能。
如果在GPT 4或GPT 5的更高版本中能夠實現這個速度，那麼還有很大的想像空間。幾乎幾秒鐘就可以寫一本書，實時人工智慧調用不是問題！
這東西真的很強大，這麼快哈哈哈哈
輸出速度接近500代幣/秒.型號為Mixtral 8X 7 B
Llama 2 7 B是750個代幣/秒
速度快得無人能及，但準確性不是很好……
您可以體驗：http://groq.com
它還提供API，以便您可以進行自己的測試：http://wow.groq.com
視頻：