利用Groq可以实现实时AI对话
将运行在 Groq 上的 Llama-70B 模型与 Whisper 模型结合,实现了几乎零延迟的性能。
如果在GPT 4或者未来更高版本GPT 5能实现这速度,想象空间很大,几乎秒级就能写一本书出来,AI实时通话都不是问题!
这个东西真厉害,速度真快 哈哈哈哈
接近500 token/s的输出速度...模型是Mixtral 8X7B
Llama 2 7B 是750 tokens/s
快是真快,无人能敌,但是准确性还不怎么样...
可以体验下:http://groq.com
还提供API,你可以自己弄个测试:http://wow.groq.com