假設零售公司的主管說:「做個 Agent,把售後退款全部自動化。」但客服忙著找訂單、追退貨材料,和申請已經整理好、只差主管批准,是兩種不同的卡點。先弄清楚是哪一種,才知道工具能幫上什麼忙。
這個假設案例沒有實際部署或量測;文中的任務範圍和驗收指標,還得由實際團隊確認。
先看一件申請怎麼走完
請客服帶你走過一件有權查看的退貨申請,從顧客提出要求,一路看到結果。訂單從哪裡找,缺了材料怎麼補,什麼時候轉給主管,最後又怎麼知道完成了?制度上寫「從客服系統受理」,客服卻可能先在聊天軟體收到照片,再人工補進系統。跟著實際工作走一遍,才能看到文件裡沒寫的這一段。
遇到已經指定的方案,把問題帶回使用者的流程和限制,也是英國政府 discovery 指引建議的做法。放在這裡,就是先看售後到底卡在哪裡,再談 Agent 能做什麼。
查資料、核對、修改摘要,都是客服實際花掉的時間。排隊、等別的部門回覆、等主管審核,則是事情還在等。從提出申請到獲准處理,兩種時間都可能有。分開記,你才看得出人工做了多久、事情又拖了多久;等待不能全算成人工工時。即使模型答得快,顧客也未必早點收到結果。
下面把同一件申請,從客服開始整理到通知結果的時間拆開。人工投入只加總人實際操作的時間;整段經過時間則包含機器執行與等待。
圖解:KeepInAI。假設從客服整理到通知結果依序處理;示意數字,非實測。
如果申請大多在等人拍板,先確認誰接手、怎麼安排審核,可能比產生摘要有效。客服如果總在對話、訂單和材料之間反覆核對,整理助手才有值得試的地方。再走幾件正常、異常、不同聯絡管道的任務,看看同樣的卡點還在不在。員工、主管和系統紀錄有出入,就留下差異,再找證據確認。
客服省下來的時間,從哪裡來
客服少找資料,可能是另一個部門先多整理了一遍。主管如果得逐字覆核模型輸出,也可能成為新的瓶頸。把整段流程的人力都記下來,才知道時間省在哪裡,有沒有轉到別人身上。
這也會影響大家願不願意用。新流程多了什麼工作?出錯誰負責?不願意用,可能是怕責任不清、核對更麻煩,也可能只是接不到手上的任務。這些原因都得查清楚,單用抗拒 AI 來解釋,就找不到該調整的地方。
試作需要的資料、介面維護、驗收和爭議處理,也得找到負責的人。這些人能花多少時間試用、覆核和排除故障,也得先談好。前線部署工程師(FDE)可以整理選項、協調討論;人力怎麼調、流程先改哪裡、省下的時間拿來做什麼,仍由管理者或業務負責人決定並承諾。資源不夠,首版就先縮小。
把第一版留在能查證的範圍裡
假如查過之後,確定資料整理值得做,第一版可以只接一個聯絡管道、一類已定義的退貨申請。程式查訂單,模型整理顧客訴求和缺少的材料,再交給客服核對。這次不自動退款、不修改政策,也不自行宣稱款項已到帳。訂單找不到、條款有衝突,就轉給指定人員處理。
這個做法還可以和補必要欄位、統一材料清單一起試。若少來回詢問就能解決問題,未必需要更多工具。輸入穩定、規則清楚的部分,可以用規則程式;需要讀自由文字,但後面的路徑固定,也可以事先安排模型與工具,用固定的 LLM workflow 處理。
路徑事先排好,和由模型動態決定步驟及工具使用,是 Anthropic 工程說明裡 workflow 與 Agent 的區別。它建議先從能滿足需求的簡單方案開始。下一步如果難以預先寫成固定路徑,得根據查到的資料再決定,Agent 的彈性可能值得投入。多出的延遲、成本和失敗情況,仍放到同一批任務裡驗證。
試作前,把結果給誰用、什麼時候停止、停了誰接手談清楚,大家才知道交付到哪裡。有了證據,範圍可以再談;每次擴大,也重新確認資源和驗收。從「整理材料」變成替公司決定退款,已經是另一個決定,不能跟著程式一路做過去。
做對了,再看大家是不是真的用
現在的做法先記下來,後面才有東西可以比。在相同範圍、期間和難度的任務裡,操作、檢查、重做花多久,錯了什麼、漏了什麼,顧客等多久?換了新流程,照同樣的方式記。如果新系統只接簡單案件,拿它去比原本所有案件的平均,就說不清楚改善從哪裡來。
整理結果有沒有漏材料、混用訂單、誤解多個訴求,缺資料時有沒有正確交接,都是這個例子可以驗的事。OpenAI 的評測指引建議,資料貼近實際任務,先定義成功條件,再以人員判斷校準評分。留一批沒參與調整的樣例來測試,錯誤有多嚴重、能接受到哪裡,交給業務負責人決定。
如果流程裡有工具和人工交接,可以從執行軌跡看資料怎麼取得、何時轉交。但系統做過哪些事,還不能回答結果有沒有價值;結果是否正確、花了多少時間,也一起核對。
接著才是採用。記下「實際以新流程完成的任務數/符合首版範圍的任務數」,就能看符合範圍的任務裡,有多少真的用新流程做完。沒用、用到一半又回去人工處理的原因,也留下來查。通知發出去了、主管說滿意、員工登入過,都不能代替任務完成。碰到促銷、淡旺季、案件難度或人力安排改變,前後差異也不能全算成 Agent 的功勞。
把工時和錢分開算
算淨工時,拿同工作量、同難度的基線人工投入,扣掉新流程全部人工投入。上游整理、覆核、重做和人工接手,都在裡面。核對如果比原本還久,差額可能是負的。想估更多案件能省多少,也按實際採用量推,不能把所有售後案件都當成已經省下的任務。等待和機器執行時間,另外記。
省下幾分鐘,乘上薪資,可以估出時間值多少錢。但現金改善還得看到加班、外包等支出真的減少,或新增收入真的發生。GOV.UK 的效益衡量方法也把可實現的支出節省、增收和其他價值分開。
時間空出來,可以多處理任務,也可以改善服務;業務承諾怎麼轉用,之後再看結果。同一份時間不能一邊算成增加產能,一邊又算成少付薪水。比較投入和利益時,先寫清楚評估期間,把開發、整理資料、人員訓練,以及持續的模型、基礎設施和維護成本,都列進來。覆核和重做如果已算進淨工時,換成金額後,就別把同一筆投入再扣一次。
下面這張表,把前面的做法收成五個可以帶回團隊討論的問題。挑一件小任務來談就好;還不知道的地方,先記下誰去查、什麼時候回來確認。
| 帶回團隊問什麼 | 先說清楚這些事 |
|---|---|
| 先解決什麼? | 挑一件實際任務,說明誰在做、卡在哪裡,以及因此多花的時間或多出的錯誤。 |
| 第一版做到哪裡? | 寫清楚這次交付什麼、先不做什麼。缺資料或出問題時,誰接手? |
| 誰有時間一起做? | 找出提供資料、維護、驗收與處理爭議的人。新流程增加的工作,也要有人接。 |
| 怎樣才算有用? | 用難度相近的案件比較時間和錯誤,再看符合範圍的任務裡,有多少真的用新流程做完。 |
| 還值得繼續嗎? | 把覆核、重做和開發維護的投入一起算。省下的時間用在哪裡?支出有沒有真的減少? |
服務品質和使用體驗本身也可以是目標,不必硬換成錢。和團隊一起看這張表,談談先驗哪個假設、首版做哪一段,以及看到什麼證據才繼續、縮小或停止。再談「要做一個 Agent」,就有範圍、接手者和判斷依據可以討論。


