我的 AI 流程都留一個人工檢查點，位置比有沒有更重要

每一條我自己在跑的 AI 流程，中間都有一個地方是人要按一下的。

這不是因為我不信任 AI。實際的理由比較無聊：AI 犯的錯不會發出聲音。

程式壞掉會噴錯誤、會停在那裡。AI 出錯的時候他會很流暢地繼續往下走，給你一個看起來完全正常的結果。一條全自動的流程，可能連續三週都在輸出有問題的東西，而你完全沒有感覺。

檢查點放在哪比有沒有重要

我看過不少人做自動化，檢查點放在最前面：AI 生完，我看一眼，然後送進後面五個步驟。

這個位置看起來合理，但他有一個問題：你看的是原料，不是成品。中間五個步驟會對內容做各種處理，而你看過的那一版跟最後出去的那一版，可能已經差很多。

我現在的原則是：檢查點放在不可逆的前一步。

不可逆是什麼？寄出去、發出去、寫進資料庫、傳給客戶。這些做完就收不回來的動作，前一步就是檢查點該在的位置。

在那個位置你看到的就是真正要出去的東西，不是中間產物。

檢查點必須便宜

這是我踩過的坑，而且踩得很典型。

我曾經設計過一個檢查點，是一份二十行的對照表，要比對生成前後的差異。設計的時候我覺得很完整。實際上第一週我認真看，第二週我快速掃過，第三週我直接按確定。

一個沒人看的檢查點比沒有檢查點更糟，因為他讓你以為有人在看。

現在我的標準很簡單：五秒內能看完，不然就重新設計。

五秒能看完的檢查點長什麼樣？通常是一到三個最會出錯的點被拉出來放大。不是給你全文，是告訴你「這次的數字是 23%、對象是舊客、要寄給 1,200 人」這三件事。

如果這三件事對了，其他部分出錯的機率很低。如果這三件事有一件明顯不對，你五秒內就會看出來。

選哪幾件事放上去

這一題沒有通則，但有一個找法：回想過去真的出過的錯。

我自己的清單長這樣：數字（尤其是百分比跟金額）、對象（寄給誰、發到哪個帳號）、還有專有名詞（品牌名、人名、產品名）。

這三類是我實際上出過包的地方。品牌名那次特別讓我記得，AI 很自然地把一個品牌名寫成另一個相近的寫法，通順到完全看不出來，是客戶自己看到才講的。這件事我另外寫在 為什麼我不讓 AI 處理品牌名。

你的清單應該跟我的不一樣，因為你出過的包跟我的不一樣。重點是那份清單要從真實的錯誤來，不是從想像的風險來。

一個流程可以有兩個檢查點嗎

可以，但我通常不放兩個。

原因是注意力會被稀釋。兩個檢查點的實際效果，經常是兩個都被草率地按過去，比一個被認真看的還糟。

如果你覺得一個不夠，我的建議是把那個檢查點做得更準，而不是多加一個。準的意思是把最會出錯的那幾件事挑出來，不是把更多東西放上去。

這樣還是會有漏掉的

我要誠實講：這套做法不會抓到所有錯誤。

他會抓到那些「看一眼就知道不對」的，抓不到那些「看起來很合理但事實上是錯的」。後面那類要靠別的機制，像是抽樣回查、或是讓另一個人看。

但前面那類已經是多數了。而且前面那類如果沒被抓到，造成的損害通常比較大，因為那是寄出去之後別人一眼就看得出來的錯。

最後

我覺得自動化的成熟度，不是看你自動化了多少步驟，是看你知不知道哪一步不能自動化。

全自動聽起來很厲害，但全自動的流程你不會知道他什麼時候開始出錯，只會在某一天發現他已經錯了三個禮拜。

留一個五秒的按鈕，換三個禮拜的安心，我覺得很划算。

我對 AI 出錯這件事的其他觀察，寫在 AI 會亂講，那我怎麼確保不出包 跟 那個錯誤到底算誰的。

工具跟流程的整理我放在 AI101。

常見問題