CalmKoala

One is never too old to learn

偏好、對話歷史與整理後的知識,需要不同的讀寫方式

剛開始用 AI agent 寫程式時,我沒有特別在意記憶這件事。只要工作留在同一段對話裡,它還記得前面做過的決定,也知道我剛才否決了哪個方案,感覺一切都沒問題,直到我關掉對話,隔天開啟新的工作階段之後。昨天已經決定不用的工具又被提了一次,commit message 的格式要重新交代,做到一半的工作也得花時間說明。

我最早的處理方式很直覺,把這些內容寫進 MEMORY.md,每次開始前讓 agent 讀取。這個方法一開始確實有用,新對話終於不必每次都從頭建立背景知識。

但我把這個方法放進三個專案跑了兩個月後,一份檔案開始同時裝著長期規則、短期進度與知識整理。它們都被叫作記憶,保存期限和使用方式卻不一樣。

這時我才把 LLM 與 AI agent 分開看。LLM 負責理解文字與產生回答;AI agent 則是包住 LLM、能儲存資料與呼叫工具的完整系統。跨對話記憶由外層系統保存,再於適當時機交給 LLM。

Hermes 把精選資訊放進 Markdown,完整對話則存進 SQLite;Andrej Karpathy 的 LLM Wiki 讓 agent 持續整理讀過的資料。

我的三層協定處理的範圍比較小,分成持久記憶、工作階段摘要與啟動讀取。第一層保存長期規則,第二層記錄近期進度,第三層規定新對話要載入哪些檔案。把這些案例放在一起,可以看出不同記憶各自需要的讀寫方式。

閱讀全文 »

多人共用 AI bot 時,身份應該由系統確認,不能讓模型自己提供

試著想像一個故事:小明和小美共用同一個 AI bot。兩人都會請它記住一些事情,可能是待辦、工作筆記,也可能是不想讓對方看到的私人內容。

當小明問「我上次說過什麼?」時,bot 卻把小美留下的內容回傳給他。一次錯誤回答,就變成了私人資料外洩。

這裡要先分清楚 bot 和 AI。bot 是整套應用系統,負責接收訊息,並串起身份確認、工具與資料。AI 是其中負責理解文字、選擇下一步操作的元件。

要避免拿錯資料,bot 必須在把訊息交給 AI 之前,先從聊天平台或登入系統確認訊息是誰傳的,不能讓 AI 自己判斷身分。AI 可以判斷小明想找什麼,但不能決定自己目前是代表小明還是小美。



flowchart LR
    U["小明傳來訊息"] --> P
    subgraph B["AI bot 系統"]
        P["訊息入口<br/>確認是小明"] --> A["AI<br/>理解小明想做什麼"]
        A --> T["記憶工具<br/>沿用已確認的身份"]
    end
    T --> D["只讀小明的資料"]

圖中的 AI 位於 bot 系統裡面,只負責理解需求。訊息入口先確認現在是誰,記憶工具再沿用這個結果查詢資料。把身份也交給 AI 填,它就有機會用別人的身份讀資料。

模型可能誤解對話、受到提示注入影響,或在呼叫工具時填錯資料。身份是權限的起點,不能建立在「模型應該會填對」的假設上。

閱讀全文 »

自己做 AI agent,不一定得從模型 API 開始。

現在使用市面上的 AI agent framework,安裝完後遇到的第一個設定,通常就是選擇模型供應商,再填入一組 API key。

這個設計很合理,框架總得知道要去哪裡找模型。但我卡在一個很現實的地方,我本來就在付 Claude 和 ChatGPT 的訂閱費,平常使用 Claude Code 與 Codex CLI 也都包含在方案額度裡。

如果 agent 改走模型 API,等於又多開一條按 token 計費的路徑。技術上沒有問題,但我的錢很有問題啊啊啊。

既然 CLI 已經登入,也支援非互動執行,能不能讓自己的 program 直接呼叫它?答案當然是可以,原本給人操作的 CLI,也能放到 agent 的模型層,成為一種 backend。

閱讀全文 »

服務無聲消失了 16 小時,逼我替它補上自動重啟、外部心跳與開機自啟。查完才發現,這些問題早就是 SRE 的日常。

我有一個常駐的 AI 助理 bot,平常會主動推播提醒、報告工作進度,偶爾覺得它有點吵。某天下午我要重啟它裝新功能,才發現它消失了一陣子。log 最後一行停在前一天早上十點多,沒報錯,也沒留下半點線索,就這樣安靜地不見了 16 個小時。事後推測應該是機器重開的時候沒有一起把服務重啟。

這讓我開始思考一個問題:要是哪天換別的原因害它死掉,我會不會一樣過了半天才發現?畢竟我平常只有在它跳出訊息的時候去確認,它沒跳訊息的時候我不會特別去看它,所以很難發現它掛了。

我養這個 bot,本來就是想少花點精力在日常瑣事上。要是反過來得每天盯它有沒有在做事,那反而本末倒置。所以我幫它補了一套三層防線,還在查資料時撞到一件好笑的事。

閱讀全文 »

前陣子要整理某個 App 裡的一份清單,但這個 App 沒有匯出功能也沒有 API 可以用,唯一的辦法就是自己把畫面一直往下滑,再把幾百筆內容手動抄出來,懶人如我,當然不可能真的一筆一筆抄,看來這裡又是 AI 該發揮作用的地方了。

最後我的作法是把清單從頭到尾螢幕錄影錄起來,再用 ffmpeg 抽出少量影格並輸出成圖片,交給有視覺能力的 AI 逐張辨識。兩段影片一共輸出 105 張圖片,最後整理出 108 筆資料。

這個做法的重點不是「讓 AI 看影片」,而是把一個太大、太密集的輸入,拆成可控制、可檢查的小單位。

整條流程:錄影 → 抽影格 → AI 逐張讀 → 去重

閱讀全文 »

最近做的東西常常要用程式開 subprocess 去呼叫 LLM。如果讓 LLM 直接寫檔,或輸出都是英文,都不會有問題;但只要 LLM 回傳中文,而且程式需要拿這段回傳結果接著處理,就會撞到 UnicodeDecodeError。

閱讀全文 »

最近有很多需要定期執行的項目,用 APScheduler 排好時間後,想說設定完就不用再管它。結果某天發現它沒正常運作,連續好幾天都沒動靜,但程式看起來一切正常,也沒噴任何錯誤,第一直覺就是自己程式一定寫錯了(抖

通常程式掛掉,至少會留個 stack trace 給你查;但這次它根本不報錯。程式還活著、排程也還在,log 翻過去一條紅字都沒有,就是該跑的時間到了,什麼事都沒發生。活著、但不做事。

閱讀全文 »

過去半年用 AI 處理雜事,一開始什麼都直接丟給 AI 都能幫我處理到好,真的是有夠方便,但用久了我發現一個問題,身為一個窮人,token 根本不夠燒啊啊啊~

於是我開始想,有什麼方法可以降低 token 使用量。最先想到的,就是那些重複性的工作。

最有感的是每個月的銀行對帳單。我會收到幾份 PDF,都是加密的,而且不同來源用不同密碼。一開始我直接把檔案都丟給 AI,請它打開、再把裡面的表格整理出來。每個月、每一份都重來一次。

第一次叫 AI 做,成果非常好,沒什麼問題。問題是第二次、第三次,我還是叫它「再做一次」,它就又跑一輪推理,重新理解一次需求,重新產出。

這件事的代價,不只是「多等一下」。每跑一輪,AI 都要重新讀懂需求、重新推理,慢,而且燒 token。更麻煩的是結果不穩——同樣的輸入,這次跟上次的格式、用詞、有沒有漏項,都可能不一樣。重複越多次,成本疊得越高。

閱讀全文 »

為什麼會做這個

過去半年用 AI 寫程式,常常踩到三類問題:

  • 同一份需求,不同對話會給出不同的命名、錯誤處理、註解風格
  • 對話跑長之後 AI 會忘掉前面的決策,把砍掉的選項再拿出來提案
  • 同一個 AI 同時當作者跟審核者,幾乎不會抓到真問題

試過用更講究的 prompt 解,沒有根本性改善。試過換更強的模型,問題照樣在。

後來想通,問題不是出在 prompt 或模型,是出在工作方式:規劃跟實作混在同一段對話、審核跟產出由同一個身分做、決策紀錄散在 chat 歷史裡。這三件事只要任何一件還在,下一次合作還是會踩同樣的坑。

於是動手寫了一套東西,叫 tessa。

閱讀全文 »

CI/CD

大多數企業採用敏捷開發,而在程式上傳到伺服器的過程中需要經過許多步驟,因此我們可以透過自動化來減少在一連串步驟中的人為疏失,並加速整體開發流程。解決人類懶惰的天性

閱讀全文 »
0%