繁中

「情境工程」讓人工智慧變得更智能

1.從即時工程到語境工程

在過去的幾年裡,人工智慧開發人員最常用的詞是「提示工程」--如何使用最合適的指令使模型顯示出預期的結果。
但今天,我們面臨一個更大的問題:如何 當人工智慧不再只是回答問題而是長時間自主運行時,我們是否會為人工智慧安排思考空間?
就是在那裡 語境工程 的用武之

2.什麼是「上下文工程」?

在大型語言模型(LLM)中,「上下文」是指模型在推理過程中可以看到的所有信息:
系統命令、對話歷史記錄、工具調用、外部數據、……
上下文工程是 如何將最有價值的信息放入有限的上下文窗口中,讓模型在關鍵時刻能夠「正確思考」。

它不再只是「寫提示」,而是 一種數據管理和注意力設計工程.
對於開發人員來說,這意味著每個令牌(文本單位)都必須最大限度地利用其潛力。

3.為什麼上下文工程如此重要?

LLM的「注意力預算」與人類相同。
隨著上下文變得更長,模型的焦點變得分散,準確性下降。這種現象被稱為 語境腐爛.
Transformer架構允許每個代幣關注所有其他代幣,這意味著上下文越大,平方順序中的注意力連結增加得越多,模型的「理解焦點」就會被稀釋。

因此, 上下文是有限的資源.
正如人類需要選擇性地關注一樣,人工智慧也需要被設計為「選擇性地思考」。

4.創建有效背景的原則

為了保持模型「專注」,Anthropic提出了幾項關鍵策略:

  1. 清除系統故障
    • 用簡單明了的語言表達預期的行為。
    • 不要寫複雜的邏輯,也不要給出空洞的指導。
    • 「恰到好處」的命令是能夠給出方向並保持靈活性的命令。
  2. 簡化且高效的工具
    • 每個工具都有明確的功能,並有明確的名稱。
    • 避免重疊或模糊的工具設計。
    • 工具應該幫助模型有效地獲取信息,而不是減慢其思維速度。
  3. 典型的少鏡頭例子
    • 您不需要列出所有邊界情況。
    • 只要挑出代表使命核心的「經典案例」,就能給模型最強的行為暗示。

總的原則是: 使上下文「信息密度高但量小」.

5.動態上下文和「實時檢索」

傳統的上下文是靜態的:所有信息在推理之前都會立即反饋給模型。
但更高級的策略是 及時檢索.

這樣,人工智慧代理就像人類一樣行事--僅在需要時尋找數據。
Claude Code使用了這種設計:
它不會立即讀取整個資料庫,而是使用工具在運行時動態加載片段、查詢結果、文件摘要等。
這種「按需思維」使模型在探索性的同時保持輕鬆。

6.長期任務中的三大技能

當任務需要持續數小時並跨越多輪推理時,克勞德採用三種策略來保持一致性:

  1. 壓實
    將長對話或程式歷史記錄濃縮為摘要,僅保留關鍵信息。
    就像一個人記筆記一樣,濃縮了「本質語境」。
  2. 結構化筆記
    該模型定期將進度寫入外部筆記本,例如NOTES.md。
    這使得它能夠在多階段任務期間保留記憶,並在上下文重置的情況下從筆記中「回憶」。
  3. 子代理架構
    一個主代理負責規劃,多個子代理各自處理特殊任務,然後將結果壓縮回主代理。
    這種分層方法不僅減輕了內存負擔,還提高了任務的準確性。

7.結論:背景是一種稀缺資源

語境工程是從「命令」到「認知設計」的轉變。
未來,隨著模型變得越來越智能,人類將不再需要手工決定行為。
然而上下文的精細管理仍然是人工智慧穩定可控的核心。

「做最簡單且有效的事情。」
--人視應用人工智慧團隊

原文: https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agents

管材:

返回頂端