STEP-BACK PROMPTING

Zheng et al. (2023) 曾經測試叫ChatGPT後退一步想一下 (STEP-BACK PROMPTING，簡稱SBP )，也就是強迫大型語言模型 (LLM) 進行更高層次的抽象思考，從具體情況中推導出高階的概念和原則。結果發現SBP能夠顯著提高 LLM 解決包括 STEM、知識問答和多重推理等問題，大幅提升AI回答結果的準確性。如果我們直接叫AI幫我們解決一個問題，這樣的結果通常很一般。但若叫AI先想一下，確認問題的本質，再提出解決方案，則效果會好很多。

這樣的作法其實有很多不同的型式，例如叫AI思考問題背後的問題、或叫它思考這些表象問題背後有沒有更深層的問題，或者直接叫它用「第一性原理」來思考。我對這個想法很感興趣，所以也做了一下實驗。我用的材料是交通部觀光局的「金山蹦火仔行銷推廣案」，以下是我給ChatGPT的提示詞：

請仔細閱讀文件，說明本標案廠商所欲解決的表象問題為何？是否可能有更深層的問題

SBP的使用邏輯是要使用者不斷追問問題表象背後，更高層次的問題為何？以金山蹦火仔的行銷為例，表象上看到的是伴手禮開發，但背後可能還隱含著社區參與和利益平衡的目標。這些想法，往往是初次拆解問題時不會發現的潛規則，但提案要能順利過關，提案者必須讀懂標書背後，業主隱含的期待。這個實驗還沒有加入提案者收集的相關資料，若能將這些資料整合後，再提交AI進行SBP提問，反覆執行後可得到更深入的問題洞察。