同一個 prompt 換個模型就爛掉，後來我改成兩層寫

我有一個用了半年的 prompt，產出很穩，穩到我已經不看了，直接複製貼上進下一個流程。

然後某天我換了一個模型，同一段輸入，出來的東西整個變形。格式跑掉、語氣變了、該有的欄位沒有。

那一刻我以為是新模型比較差。後來才想通，是我的 prompt 早就不是在描述任務了。

那個 prompt 裡面有一半是補丁

我把那段 prompt 打開重讀，發現裡面塞了很多這種句子：

「不要在開頭加任何說明文字」 「直接輸出，不要問我問題」 「每一段不要超過三行」 「不要用條列，用段落」

這些都是我在過去半年裡，一次一次被舊模型的習慣惹到之後加上去的。舊模型愛在前面加一段「好的，以下是您要的內容」，所以我加了第一句。舊模型愛把東西拆成條列，所以我加了最後一句。

這些不是任務描述，是針對某一個模型的怪癖寫的補丁。

換了模型之後，新模型本來就不會那樣做，但我的補丁還在，而且有些補丁跟新模型的預設行為打架，結果就是輸出變得很奇怪。

我現在拆成兩層

我把 prompt 拆成兩塊，實體上就是兩段，中間空一行。

第一層：任務。 這一層描述的是「要做什麼」，跟哪個模型無關。輸入是什麼、輸出要包含哪些資訊、判斷的標準是什麼、有什麼是不能做的（是業務規則不是格式規則）。

第二層：這個模型的補丁。 不要加開場白、不要問問題、輸出用純文字不要 markdown，這種全部放這裡。

換模型的時候，第一層原封不動，第二層整個刪掉重寫。通常刪掉之後先跑一次，看看新模型會犯什麼毛病，再針對那些毛病加補丁，而不是把舊的補丁搬過來。

這個做法最大的好處不是省時間，是你會發現自己的任務描述其實很模糊。把補丁拿掉之後，第一層常常短得可憐，你會意識到過去半年模型表現好，有一部分是因為補丁在硬撐。

第二件事：輸出格式一定要明確指定

這是換模型會爆掉的第二個原因。

如果你的下游是人在看，格式亂一點無所謂。但如果你的下游是另一段程式、是一個表格、是要貼進某個欄位，那你就不能靠模型自己抓語感。

我的做法是明確說出結構：要幾個欄位、每個欄位叫什麼、用什麼分隔。輸出如果要進系統，就指定 JSON 並且把欄位名稱列出來。

不要用「請整理成好讀的格式」這種話。 好讀對每個模型的定義都不一樣，而且會隨版本改變。

第三件事：留五個固定的測試輸入

這是我後來加的，也是最有用的。

我準備了五段固定的輸入，涵蓋典型的、邊緣的、跟一個我知道以前會出錯的。換模型、或者同一個模型出了新版本，我就把這五段跑一次，把結果貼在一起看。

五分鐘的事，但他把「模型換了之後品質有沒有掉」這個很模糊的感覺，變成一個可以看的東西。

而且這五段輸入本身會慢慢變成資產。每次遇到一個新的失敗案例，我就把他加進去，這組測試就越來越能反映我真正在意的東西。

一個延伸的觀察

做完這件事之後我有一個感覺：我們花在調 prompt 上的時間，有很大一部分其實是在適應某個模型的個性，而不是在把問題想清楚。

這件事本身沒有錯，工具有個性是正常的。但如果你的 prompt 裡補丁比任務多，那代表你的產出品質有一大半是綁在那個模型上的。他一改版你就重來。

把任務那層寫清楚，是唯一會累積的部分。

我對 prompt 這件事還有另一個觀察寫在 prompt 救不了爛策略，怎麼把工作流程變成可以重複用的東西寫在 把 SOP 變成 prompt。

工具跟提示詞的整理我放在 AI101。

常見問題