利用Groq可以实现实时AI对话

将运行在 Groq 上的 Llama-70B 模型与 Whisper 模型结合,实现了几乎零延迟的性能。

如果在GPT 4或者未来更高版本GPT 5能实现这速度,想象空间很大,几乎秒级就能写一本书出来,AI实时通话都不是问题!

这个东西真厉害,速度真快 哈哈哈哈
接近500 token/s的输出速度...模型是Mixtral 8X7B
Llama 2 7B 是750 tokens/s
快是真快,无人能敌,但是准确性还不怎么样...

可以体验下:http://groq.com
还提供API,你可以自己弄个测试:http://wow.groq.com

视频:https://youtu.be/erKef2_VjQE

了解 Tarogo Cloud Bloger & Shop 的更多信息

立即订阅以继续阅读并访问完整档案。

继续阅读