這是谷歌的Lee Boonstra為希望通過提示工程改進大型語言模型（LLM）使用的開發人員和產品設計師撰寫的詳盡白皮書。記錄周圍 雙子座模型 和 Vertex AI 擴展也適用於GPT、Claude、LLaMA等其他型號。
主要內容概述：
1. 工程基礎技巧
- 提示是LLM輸入的主要界面，也是指導模型生成輸出的關鍵。
- 一個好的提示結合了任務目標、模型選擇、參數配置和結構設計等元素。
2. LLM輸出控制參數
- 溫度：控制輸出的「隨機性」或「確定性」。
- Top-K / Top-P（核採樣）：控制採樣範圍。
- 令牌長度：限制輸出字數，影響成本和性能。
3. 提示設計方法
- 零發射、一次發射、少發射：沒有例子/一個例子/多個例子。
- 系統預算分配：設置總體任務背景和輸出要求。
- 角色提名：讓模特扮演一定的角色（例如旅行顧問）。
- 背景預算：添加其他上下文以幫助模型理解任務。
4. 先進技術
- 後退預算：先提出一個一般性問題，然後細化任務。
- 思想鏈（CoT）：引導模型分步思考，適合複雜的推理任務。
- 自我和諧：通過多次產生意見並聽取多數意見來提高一致性。
- 思想之樹（ToT）：多路徑推理的廣義版本。
- React（Reason + Act）：結合思維和工具調用，實現類似於代理的交互。
- 自動提示生成（APT）：使用模型生成提示，然後過濾優化，形成自動疊代閉環。
5. 代碼相關提示
- 提供生成代碼、解釋代碼、翻譯代碼、調試代碼等的技巧。
6. 多模式提示
- 支持使用圖像、音頻、代碼等作為輸入並與文本提示相結合。
7. 最佳做法
- 提供清晰、簡潔和具體的說明比消極約束更好。
- 建議使用變量、控制令牌數量和混合輸入格式。
- 不斷測試和記錄每個提示的有效性將有助於優化。
原創谷歌：https://drive.google.com/file/d/1AbaBYbEa_EbPelsT40-vj64L-2IwUJHy/view? pli=1
輸油管：