繁中
English繁中

DeepSearcher的深度研究和智能私人數據問答平台

作者: /

簡介：使用大型語言模型（例如OpenAI、DeepSeek等）和載體資料庫（例如Milvus、Zilliz Cloud等）高效搜索、評估和推理私有數據，特別適合企業知識管理、智能問答系統和信息檢索場景。

DeepSearcher是一個開源項目，旨在將推理大型語言模型（LLM）和載體資料庫相結合來搜索、評估和推理私人數據，以提供高精度的答案和全面的報告。該項目主要應用於企業知識管理、智能問答系統、信息檢索等場景。

項目概況

DeepSearcher通過集成多個推理LLM（如OpenAI的o 1、o3-mini、DeepSeek、Grok 3等），實現對私有數據的深度搜索和分析。和矢量資料庫（如Milvus、Zilliz Cloud等）。其核心職能包括：

  • 私人數據搜索：最大限度地利用內部數據，同時確保數據安全。如有必要，可以整合在線內容以提供更準確的答案。
  • 載體資料庫管理：支持Milvus等載體資料庫，並允許數據分區以提高檢索效率。
  • 靈活的嵌入選項：兼容多種嵌入模型，用戶可以根據自己的需求選擇最優的模型。
  • 支持各種LLM：支持DeepSeek和OpenAI等大規模模型，用於智能問答和內容生成。
  • 文檔加載器：支持本地文件加載，網頁抓取功能正在開發中。

快速啟動

安裝

您可以使用以下步驟安裝DeepSearcher：

1.克隆倉庫：

git克隆https://github.com/zilliztech/deep-searcher.git

2.創建Python虛擬環境並激活：

bash
CD深度搜索
蟒蛇3-m venv .venv
source .venv/bin/activate

3.安裝依賴關係：

pip install -e .

4.設置環境變量：

將您的OPEN_API_KEY添加到環境變量。如果您在配置中更改了LLM，請確保您已準備好適當的API密鑰。

例如

以下是一個簡單的使用示例：

來自deepDeliver. ucci導入配置，init_connect
來自deepsearcher.online_select導入查詢

#初始化配置
配置=配置（）
配置.set_provider_connect（「llm」，「OpenAI」，{「型號」：「gpt-4 o-mini」}）
初始化_配置（配置=配置）

#加載本地數據
來自DeepDeliver. ofline_loading導入加載_from_本地_文件
加載_from_本地_文件（路徑_or_目錄=「your_本地_路徑」）

#查詢
結果=查詢（「請寫一份關於XXX的報告。")

模塊支持

DeepSearcher支持多個模塊，包括：

  • 嵌入式模型：支持開源嵌入式模型、OpenAI（需要OPNAI_API_KEY）、VoyageAI（需要VOYAGE_API_KEY）、Amazon Bedrock（需要AWS_ANCE_KEY_ID和AWS_RECRET_SYS_KEY）等。
  • LLM支持：支持OpenAI、DeepSeek、Grok 3（即將推出）、SiliconFlow推理服務、TogetherAI推理服務、Google Gemini、SambaNova雲推理服務等。
  • 文檔加載器：支持本地文件加載（例如PDF、XT、MD），網頁抓取功能正在開發中。
  • 載體資料庫支持：目前支持Milvus（與Zilliz相同）。

未來計劃

DeepSearcher計劃在未來增強網絡爬行能力，支持更多的載體資料庫（例如FAISS），增加對更多大型模型的支持，並提供RESTful API接口（已完成）。我們歡迎社區捐款來建立一個更強大的DeepSearcher！

GitHub：https://github.com/zilliztech/deep-searcher

輸油管：

返回頂端