NVIDIA发布一个可以运行在PC上本地模型：Chat With RTX

该模型可以与你自己的内容（文档、笔记、视频或其他数据）相连接，
利用检索增强生成（RAG）、TensorRT-LLM和RTX加速技术，用户可以个性化地创建一个聊天机器人。
快速获得上下文相关的答案。所有操作均在用户本地完成！
它专为搭载NVIDIA RTX显卡的Windows系统设计，可以个性化地与用户的文件、笔记和视频内容进行互动。

主要功能和特点包括：

1. 个性化内容访问：能够连接到用户的个人内容，如文档、笔记、视频等，提供针对性的回答和信息。
2. 高级技术支持：利用检索增强生成（RAG）、TensorRT-LLM和RTX加速技术，确保聊天机器人的回答既相关又快速。
3. 本地运行：所有功能都在用户的Windows RTX PC或工作站上本地运行，保证了数据的安全性和处理的速度。
4. 支持多种文件格式：能够处理多种文件格式，包括文本、PDF、DOC/DOCX和XML等，使用户可以轻松地将不同类型的内容纳入其个性化的聊天体验中。
5. 视频内容查询：可以通过提供YouTube播放列表的URL来加载视频的文字转录，从而使用户能够查询视频内容。
6. 系统要求：对运行环境有一定要求，需要Windows 11操作系统、NVIDIA GeForce RTX 30或40系列GPU、至少8GB的VRAM和16GB或更多的RAM。

• 平台： Windows
• GPU： NVIDIA GeForce™ RTX 30或40系列GPU或NVIDIA RTX™ Ampere或Ada世代GPU，至少需要8GB的VRAM
• RAM： 16GB或更高
• 操作系统： Windows 11
• 驱动程序： 535.11或更高版本

详细：https://nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/

视频：https://youtu.be/AQiIeeYtX-c