Chrome 已经内置大模型(Gemini Nano)
官方推荐的用户是本地和远端大模型混合使用的方案。
使用 chrome 本地模型的好处：
1、本地处理敏感数据；
2、流畅的用户体验；
3、对 AI 的访问权限更高；
4、离线使用 AI。
以下是来自原文：
当我们使用 Web 上的 AI 模型构建特征时，我们通常依赖服务器端解决方案来构建更大的模型。对于生成式 AI 来说尤其如此，即使是最小的模型，也是网页大小中位数的约千倍。这同样适用于其他 AI 应用场景，其中模型的大小可能从数十兆字节到数百兆字节。
由于这些模型并非跨网站共享，因此每个网站都必须在网页加载时下载。对于开发者和用户而言，这是一个不切实际的解决方案
虽然服务器端 AI 是大型模型的绝佳选择，但设备端方法和混合方法各有巨大的优点。为了使这些方法可行，我们需要解决模型大小和模型交付问题。
因此，我们正在开发 Web 平台 API 和浏览器功能，旨在将 AI 模型（包括大语言模型 (LLM)）直接集成到浏览器中。其中包括 Gemini Nano，这是 Gemini 系列 LLM 中最高效的版本，旨在在大多数现代台式机和笔记本电脑上本地运行。借助内置 AI，您的网站或 Web 应用可以执行 AI 驱动的任务，而无需部署或管理其自己的 AI 模型。
了解内置 AI 的优势、我们的实现计划，以及如何利用这项技术。
混合 AI：设备端和服务器端
虽然设备端 AI 可以处理大量用例，但也有一些用例需要服务器端支持。
例如，您可能需要使用较大的模型或支持更广泛的平台和设备。
您可以考虑采用混合方法，但这要取决于以下因素：
复杂性：使用设备端 AI 更容易支持具体、易于理解的用例。对于复杂的用例，请考虑使用服务器端实现。
弹性：默认使用服务器端，在设备离线或连接不稳定时使用设备端。
安全回退：采用内置 AI 的浏览器需要一定的时间，某些型号可能不可用，而较旧或功能不太强大的设备可能无法满足硬件要求，无法以最佳方式运行所有模型。请为这些用户提供服务器端 AI。
对于 Gemini 模型，您可以使用后端集成（与 Python、Go、Node.js 或 REST），或者通过新的网页版 Google AI 客户端 SDK 在 Web 应用中实现。
浏览器架构和 API
为了支持 Chrome 中的内置 AI，我们打造了基础架构，以获取在设备端执行的基础模型和专家模型。此基础架构已在支持创新的浏览器功能（例如帮我写），并且很快就会支持用于设备端 AI 的 API。
您将主要通过任务 API 使用内置 AI 功能，例如翻译 API 或摘要 API。Task API 旨在根据最适合分配的模型进行推理。
在 Chrome 中，这些 API 旨在通过微调或专家模型针对 Gemini Nano 运行推断。作为设计，Gemini Nano 可在大多数现代设备上本地运行，最适合与语言相关的用例，例如摘要、重新表述或分类。
如果想详细了解，可以点开视频下方的链接。
谢谢观看本视频。要是喜欢，请订阅、点赞。谢谢
