Skill 裝得越多,AI agent 就越好用嗎?
整理一輪 skill 後學到的事
AI agent 的 skill 很好用。網路上可以找到各式各樣的 skill,每次看到一個可能用得上的,我總會迫不及待裝起來試試看。我原本以為,skill 裝得越多,AI agent 能做的事也會越多。
有一次,我只請它改兩段文章,它卻先整理需求、列計畫、分派工作,再安排一輪審核。模型沒有突然變笨,幾個 skill 卻讓原本簡單的工作多出許多步驟。我沒有精確量過前後差了多少 token,但計畫、分工與中間輸出都需要脈絡,工作也明顯變得笨重。類似情況發生幾次後,我重新整理自己裝過的 skill,最後刪掉了幾個。我開始在意的也不再是裝了多少,而是它該在什麼時候介入。
兩個讓我開始整理 skill 的例子
文章開始像同一個模板
第一個 skill 用來改善文章的可讀性。它會縮短段落、增加提示句,讓讀者更容易快速掃過內容。
我把它套進 calmkoala 的文章後,句子確實變短了,整體卻開始像社群貼文。段落之間少了鋪陳,原本想慢慢帶出的觀點被切成零散的結論。Skill 有完成自己的任務,但它追求的閱讀節奏不適合這個部落格。
後來我把寫作檢查縮到草稿完成之後,只處理空泛、太像 AI 的句子,不再讓它決定開頭、結構與段落節奏。範圍縮小後,它才回到編修的位置,沒有接管作者。
小修改也要跑完整流程
另一個 skill 提供一套完整的開發流程,包含釐清需求、規劃、分工、審核與驗證。大型功能需要這些步驟,但我平常也會請 agent 改一段說明、調整日期或修一個小錯字。
當同一套流程套到所有任務,小修改也得先產生計畫,再走完每個檢查點。輸出看起來很嚴謹,實際上增加了等待時間,也讓 agent 少了依任務大小調整做法的空間。
問題出在 skill 預設每個任務都需要完整流程。這項假設只適用一部分工作,觸發範圍卻涵蓋所有工作。
這兩個 skill 都有值得保留的內容,我最後沒有把它們整份丟掉。寫作檢查被縮到草稿完成後,完整開發流程只留給大型任務;其他規則則移到更適合的位置。
整理 skill 時,我先處理的其實不是數量,而是介入範圍。每次工作都要遵守的偏好、特定任務才需要的流程,以及能由程式判定的條件,適合的承載方式不同。先把內容分流,才知道哪些真的需要留在 skill 裡。
Skill 到底改變了什麼
大型語言模型(LLM)負責理解與產生內容,也就是聊天 AI 裡讀懂問題、生成回答的核心。AI agent 再把 LLM 與檔案、工具和工作流程連在一起,讓它能實際處理任務。
Skill 則像交給 agent 的工作手冊,裡面可以放操作步驟、參考資料、範本與腳本。它不會改變模型本身的權重,卻能在執行時補入知識、程序與限制。如果 skill 內含腳本,執行環境也允許使用相關工具,它還可能讓 agent 多一種操作方式。
How to add skills support to your agent 將載入分成三層。Agent 啟動時先看到每個 skill 的名稱與用途,這份清單中的每個 skill 約占 50 至 100 tokens;判斷任務相關後,才載入完整的 SKILL.md,其餘參考檔案與腳本則按需讀取。Specification - Agent Skills 定義了 skill 的檔案格式與目錄慣例,不同工具仍會用自己的方式實作載入與觸發。
例如 Build skills | ChatGPT Learn 提到,Codex 會限制初始 skill 清單占用的脈絡。數量太多時,系統會先縮短用途描述,之後可能省略部分 skill。安裝很多 skill 不等於每次都會載入全部內容,但初始清單、觸發判斷,以及觸發後增加的步驟仍然有成本。
規則該放哪裡
我查資料時,發現網路上的討論其實在回答不同問題。有人在意知識能否重用,有人看觸發是否可靠,也有人只用評測結果與權限風險決定去留。這些觀點沒有替我訂出 skill 數量,卻讓我開始先問:這份規則真的該放在 skill 裡嗎?
Vercel 曾針對 Next.js 16 文件做一組評測。沒有文件的 baseline 與預設由 agent 自行觸發 skill 的通過率都是 53%,而且 56% 的案例根本沒有觸發 skill;明確要求使用後提高到 79%,把壓縮後的文件索引放進 AGENTS.md 則達到 100%。這是特定框架與評測的結果,不能直接套用到所有任務,但它顯示內容寫對仍不夠,資訊放在哪裡也會影響 agent 能不能在需要時取得。AGENTS.md outperforms skills in our agent evals
我目前用下面這張表做第一輪分流。這是我的設計判斷,不是 Agent Skills 規格規定的分類。
| 想解決的事情 | 適合的位置 | 例子 |
|---|---|---|
| 幾乎每次工作都要遵守的簡單規則 | 專案指引 | 使用繁體中文、公開檔不加入工具署名 |
| 只有特定任務需要的詳細做法 | Skill | 處理 PDF、整理會議記錄、操作瀏覽器 |
| 需要另一個不受原對話影響的視角,或不同工具權限 | 獨立 agent | 把草稿交給第一次閱讀的讀者身分審稿 |
| 需要存取外部服務或資料 | 工具與權限設定 | 查詢資料庫、讀取行事曆 |
| 有明確條件,而且不得漏驗 | 程式與測試 | 檔案格式、必填欄位、建置是否成功 |
專案指引在不同工具裡可能叫 custom instructions、rules 或 AGENTS.md,用途是提供經常需要的背景。只有工具真的分開對話、背景或權限時,另一個 agent 才可能形成不同的審查脈絡;多開一個聊天室不等於自動得到獨立判斷。
例如「所有公開文章都用繁體中文」適合放在專案指引;「處理 PDF 後要逐頁檢查排版」可以做成 skill;「程式一定要通過測試」則應交給測試與 CI 檢查強制執行,不能只要求 agent 記得。
我怎麼測一個 skill
先確認它會在對的時候出現
我不再因為 skill 看起來完整就安裝。一般任務中,agent 要在同一類工作反覆犯錯,而且處理方式已經穩定,才值得整理成可重用的 skill。只發生一次的問題,可以先在對話中補充;任務範圍說不明白時,skill 的用途描述也很難寫準。
低頻但後果嚴重的安全或合規問題不能等它重複發生。這類條件更適合交給權限、程式檢查或人工核准,避免把防線只寫在 skill 裡。
測試時,我會同時準備應該觸發與不該觸發的任務。後者很重要,因為一個 skill 能在 PDF 任務正確出現,不代表它不會在寫文章時插手。
再比較加入前後
2026 年的 SWE-Skills-Bench: Do Agent Skills Actually Help in Real-World Software Engineering? 前印本測試 49 個軟體開發 skill,其中 39 個沒有提高任務通過率,7 個帶來明顯改善,另有 3 個因版本不合而讓表現下降。這份研究一次評估一個任務與一個 skill,沒有測試大型 skill 清單的觸發問題,因此不能拿來訂出數量上限。對我真正有用的結論只有一個:看起來完整,不代表加入後真的會變好。
我會在安裝前後各跑幾個平常真的會遇到的任務,觀察有沒有少來回修改一次、是否補上原本常漏的步驟,以及處理時間增加多少。我也會放進幾個不該用到這個 skill 的任務,看看它會不會插手。
假設我想安裝一個 PDF skill,我會先確認自己是否反覆遇到文字擷取或排版漏檢,再用一份 PDF 測它能否補上問題。接著改請 agent 寫文章,確認 PDF 流程不會跑出來。兩邊都符合預期,才有留下的理由。
模型更新後重跑
有些 skill 用來補模型當時不穩定的能力。假如流程 skill 原本是為了解決長任務經常做漏,模型或工具更新後,就該重跑當初用來驗證它的任務。在這些測試中停用 skill 沒有造成可觀察的退步,就可以考慮移除。
Anthropic 在 Harness design for long-running application development 中也用逐一移除流程元件的方式,檢查哪些做法仍會影響結果。保存領域知識或必要流程的 skill,則要檢查內容是否過期;低頻但高風險的流程也不能只靠少量測試決定去留。
安裝前先確認能不能信任
下載第三方 skill 時,我會先看 SKILL.md、參考檔案、附帶腳本,以及它宣告的相依套件。程式規模太大,不一定能逐行讀完,但至少要確認安裝腳本、外連位置、版本鎖定與權限要求。Skill 要求登入、提供 token、下載額外程式、批次讀寫或上傳檔案時,我不會只因為名稱看起來有用就授權。
即使 skill 沒有附帶腳本,風險也不會消失。SKILL.md 裡的文字本身就會影響 agent 的行為。Skill-Inject: Measuring Agent Vulnerability to Skill File Attacks 用 202 組刻意設計的攻擊任務,測試透過 skill 檔案發動的提示注入,部分受測 agent 的攻擊成功率最高達 80%。這個數字只適用於刻意植入惡意指令的測試,不能推論市面上有 80% 的 skill 都是惡意內容;它提醒我,來源審查與最小權限不能交給模型能力代替。
名稱無法證明 skill 實際會做什麼,即使沒有腳本,文字指令也可能讓 agent 改變做法。看不懂內容時,我至少不會先提供 token、批量檔案存取或上傳權限。
我現在留下 skill 的條件
我現在只留下能說明任務範圍、補上重複失敗、通過前後比較,而且內容與權限值得信任的 skill。其中一項答不出來時,我會先停用。停用後結果沒有可觀察的差別,就移除;仍有局部價值,就縮小觸發範圍,或把規則移到專案指引、程式檢查與權限設定。
第五個 skill 仍可能有價值,第二個也可能是多餘的。數量沒有通用門檻,每一個都要證明自己值得留在清單裡。