Octopus-v2：可以在移动设备上运行的2B LLMs
Octopus-V2-2B是由斯坦福大学Nexa AI开发专为Android API的功能调用定制。
采用了一种独特的功能性标记策略，超越了基于RAG的方法，特别适用于边缘计算设备。
比Llama7B + RAG方案快36倍，性能优于 GPT-4，延迟时间小于 1 秒。
它能够在移动设备上直接运行，支持广泛的应用场景，从而推动Android系统管理和设备间协同工作的新方式。
其快速和高效的推理能力，特别适合需要高性能和精确功能调用的场景，如智能家居控制、移动应用开发等。
🔑 特殊标记将错误率降至最低：为每个函数分配一个唯一的标记，大大降低了函数选择的错误率。缩短了 95% 以上的上下文。
✅ 卓越的准确性：每个函数只需 100 个样本，准确率就达到了惊人的 98.095%。
⚡ 响应时间缩短：与基于 RAG 函数调用的 Llama-7B 相比，我们的方法将延迟时间缩短了 35 倍。
⏱️ 典型查询在 1.1 至 1.7 秒内即可在设备上运行。它可以部署在汽车、耳机、手机、电脑等设备上...
💸 实际应用：可以改造移动智能设备，实现与地图和送餐等各种服务的无缝互动。
论文：https://arxiv.org/abs/2404.01744
模型下载：https://huggingface.co/NexaAIDev/Octopus-v2
