測試通過,真的能用了嗎?
你有沒有遇過,程式明明顯示測試通過,自己打開來用,卻連最常做的操作都沒辦法完成?例如做了一個能匯出報表的小工具,檢查時沒有報錯,按下按鈕也出現成功訊息,下載後才發現檔案是空的。這時再看那一排通過的結果,很難不懷疑,剛才到底測了什麼。
我在做一套讓 AI 分工的工具時,也遇過類似的落差。角色設定檔產生了,檔案比對也通過,實際打開使用它的工具,卻找不到那些角色。那次通過的是「產生的檔案和預期一致」,並沒有驗到「工具真的讀得懂這些檔案」。兩件事只差一步,對使用結果的影響卻差很多。
所以看到測試通過,我會接著確認它涵蓋到哪裡。檢查計算結果、檔案內容,和從平常的入口完成一件事,各自能找出不同的問題。做自己的小工具,不必一開始準備完整的測試制度,但至少要挑一條主要流程,確認從開始操作到拿到結果都走得通。
檔案有了,工具卻沒讀到
那套工具會依照角色定義,產生給開發工具讀取的設定檔,例如負責修改程式的角色、負責審查的角色。設定檔開頭有名稱、用途等欄位,必須照固定格式填寫,開發工具才知道要怎麼使用這個角色。我另外放了一行註解,標明檔案由哪個來源產生,方便日後維護。
問題出在順序。當時我把註解放在最前面,設定資料排在後面,檔案內容看起來都在,但目標工具要求設定資料必須從第一行開始。它沒有照我預期的方式讀取,幾個角色就這樣被忽略了。直到檢查工具裡的角色清單,並嘗試實際呼叫,才發現檔案有產生,角色卻沒有出現。
原本的自動檢查會重新產生一份檔案,再和保存的範本比對,確認內容沒有意外改變。比對時,那段註解會先被略過,只比較剩下的設定和內文,因此沒有檢查註解與設定區塊的先後順序。它也沒有啟動目標工具,確認角色能不能被載入。檢查沒有失靈,只是我還少驗了後面那一段。
graph TD
A[角色定義] --> B[產生設定檔]
B --> C[開發工具讀取]
C --> D[角色出現在清單]
D --> E[實際交付任務]
B -. 比對檔案內容 .-> F[既有檢查通過]
修正時,我把註解移到設定區塊之後,也把「從工具清單確認已載入,並實際呼叫一次」列為之後的驗收項目。檔案比對仍然保留,因為它適合找出不該改變的內容;只是不能再拿這個結果,代替整條使用流程的確認。這個例子甚至還沒走到複雜的程式邏輯,光是第一行放什麼,就足以讓功能消失。
先看測試驗到哪裡
測試會依照設定好的條件判斷結果。例如匯出報表時,檢查總金額是不是算對,和檢查下載的檔案能不能打開,是不同的條件。前者可以直接把資料交給計算程式,快速試很多組數字;後者要經過選資料、按匯出、產生檔案與下載,才能知道這些部分接在一起有沒有問題。
還有一種常見做法,是在測試裡用預先準備好的回應,暫時代替外部服務。假設工具需要把檔案存到雲端,測試就假裝雲端已回覆「儲存成功」,觀察自己的程式接著會不會顯示正確訊息。這通常叫模擬,或 mock,可以讓測試不必每次連上網路,也方便試出失敗的情況。Playwright 的 Mock APIs | Playwright 就示範了攔截請求、回傳測試資料,過程中不會真的連到原本的服務。
這樣的測試有用,但它沒有檢查真實帳號能不能登入、目前有沒有寫入權限,或檔案最後是否真的存在。看到「成功」之前,要先知道這個成功是外部服務回的,還是測試事先安排的。我會保留這些快速檢查,再另外驗證需要實際連接的部分,不會要求每一項測試都去操作一次雲端。
從平常的入口走一次
先寫出完成的樣子
如果我要驗收匯出報表,會先寫下一個具體結果,例如「選定日期後,下載的 CSV 用試算表打開,應該看得到這段期間的紀錄,而且金額和原始資料一致」。CSV 是能用試算表開啟的表格文字檔;這裡要檢查的終點是它裡面的內容,不能只停在按鈕變色或出現成功訊息。
接著準備少量容易核對的測試資料。例如選定日期內放兩筆紀錄,金額分別是 100 和 200,再放一筆日期外的紀錄。預期匯出只有前兩筆,若工具也提供加總,結果就應該是 300。資料不用多,但要先知道正確答案,才能看出它有沒有漏掉、混入或改錯資料。這裡的報表是示範情境,換成整理照片、預約或待辦工具,也可以用同樣方式訂出完成條件。
用預計交付的版本操作
驗收時,要從平常會用的入口開始。網頁工具就打開網頁,選日期、按匯出,再檢查下載的檔案;bot 就從聊天視窗送出操作,確認最後拿到的結果。只在程式裡直接呼叫匯出函式,即使結果正確,也還沒檢查畫面上的按鈕是不是接到了它。
環境也要對得上。自己電腦裡已經登入的帳號、事先建好的資料夾、開發時留下的設定,可能讓流程剛好能跑。若工具準備放到另一台主機,或交給其他人使用,就要在對應的測試環境重新確認,並使用符合一般使用者權限的測試帳號。不能拿管理員帳號跑過一次,就當作其他人也一定能用。
這類從操作入口驗到最後結果的檢查,常稱為端到端測試,英文縮寫是 E2E。它也能自動化,不必永遠靠自己點。Playwright 的 Best Practices | Playwright 建議驗證使用者看得到的行為,這也是我選驗收終點的依據。先把流程和預期結果定好,之後才有辦法判斷自動化測試是不是涵蓋了同一件事。
成功之外,也試一次失敗
主要流程走通後,我會挑容易出錯、出錯後又需要人處理的情況補測。以報表來說,沒有符合日期的資料時,工具應該說明沒有資料,或產生事先約定好的空報表;儲存失敗時,不該仍然顯示「已儲存」。結果要怎麼呈現可以自己決定,但不能讓使用者以為事情做完了,實際上什麼都沒留下。
不用一開始窮舉所有異常。若工具只是匯出檔案,可以先測空資料和寫入失敗;若會新增或扣除資料,就多看重複點擊與中途中斷。難以安全重現的情況,可以先用模擬回應測自己的處理邏輯,再把尚未驗證的真實連線列出來。每次只增加一個條件,也比較容易知道問題是從哪裡開始的。
讓 AI 回報做過的檢查
如果工具主要由 AI 協助開發,我會請它把「已完成」拆成可以核對的內容。它執行了哪個版本、用了什麼測試資料、從哪個入口開始,以及最後看到了什麼結果。拿匯出報表來說,「測試全部通過」太籠統;「用測試帳號從網頁匯出,下載後確認有兩筆紀錄,金額分別是 100 和 200」,才知道這次驗到了哪裡。再附上產出檔、截圖或執行紀錄的位置,才有辦法實際核對。
報告裡也要留下沒有做的部分。如果 AI 只能讀程式、跑本機測試,卻沒有瀏覽器或測試帳號,就把網頁操作標成未驗證,交給人補做。檔案比對通過、模擬服務回應正確、實際登入後操作成功,可以分開記,不需要湊成一句全部正常。自己不熟程式碼,也能先用這些具體結果,判斷還欠哪一段驗收。
檢查紀錄不用寫成長篇報告。留下版本、環境、操作、預期與實際結果,以及未驗證項目就夠了;若附截圖或執行紀錄,要先移除金鑰、個人資料與登入資訊。下次出現「我這邊可以,你那邊不行」,至少有資料能比較雙方到底用了什麼條件。
把漏掉的補回測試
發現問題後,修好再重跑同一條流程,接著看能不能加上一項自動檢查,讓相同錯誤在日後修改時能被抓到,這也是回歸測試的用途。例如設定區塊是否從第一行開始,就很適合自動檢查;至於目標工具更新後還能不能載入,仍是另一次實跑要驗證的事。
我不會因此把所有測試都改成從頭操作一次。金額計算、格式判斷這些局部規則,用小範圍測試就能快速確認;資料保存與讀回,要檢查相關部分接在一起的結果;最常用、失敗影響又大的完整流程,再保留端到端驗收。每一層都能做自己的工作,才不用改一行文字,就把整套系統重新點過一次。
自己的工具,很適合拿平常真的要做的事驗收。挑一個主要功能,準備幾筆知道答案的資料,從正常入口做到拿到結果,再把漏掉的檢查補上。我的角色設定檔已經證明,檔案整整齊齊地躺在那裡,也可能完全沒人理它。下次看到那排通過的結果,我還是會打開工具,確認自己要用的功能真的在。