AI agent 的記憶該放哪裡?從 Markdown、SQLite 到 LLM Wiki
偏好、對話歷史與整理後的知識,需要不同的讀寫方式
剛開始用 AI agent 寫程式時,我沒有特別在意記憶這件事。只要工作留在同一段對話裡,它還記得前面做過的決定,也知道我剛才否決了哪個方案,感覺一切都沒問題,直到我關掉對話,隔天開啟新的工作階段之後。昨天已經決定不用的工具又被提了一次,commit message 的格式要重新交代,做到一半的工作也得花時間說明。
我最早的處理方式很直覺,把這些內容寫進 MEMORY.md,每次開始前讓 agent 讀取。這個方法一開始確實有用,新對話終於不必每次都從頭建立背景知識。
但我把這個方法放進三個專案跑了兩個月後,一份檔案開始同時裝著長期規則、短期進度與知識整理。它們都被叫作記憶,保存期限和使用方式卻不一樣。
這時我才把 LLM 與 AI agent 分開看。LLM 負責理解文字與產生回答;AI agent 則是包住 LLM、能儲存資料與呼叫工具的完整系統。跨對話記憶由外層系統保存,再於適當時機交給 LLM。
Hermes 把精選資訊放進 Markdown,完整對話則存進 SQLite;Andrej Karpathy 的 LLM Wiki 讓 agent 持續整理讀過的資料。
我的三層協定處理的範圍比較小,分成持久記憶、工作階段摘要與啟動讀取。第一層保存長期規則,第二層記錄近期進度,第三層規定新對話要載入哪些檔案。把這些案例放在一起,可以看出不同記憶各自需要的讀寫方式。
先按用途分類
如果使用者說「commit message 請用中文」,agent 在下一場工作開始時就要知道。這類資訊數量不多,使用頻率很高,適合放進精簡的偏好或專案記憶。
「找出上星期討論過的三個名稱」屬於另一種需求。完整對話可能累積幾十萬字,沒有必要每次全部交給 LLM。系統可以保存原始內容,等使用者問起時再搜尋。
最近的工作進度也屬於歷史資訊,但下一場對話很可能立即用到。系統可以在工作結束時先留下短摘要,接續時直接讀摘要;需要細節時,再回到完整對話。
「把最近讀過的資料整理成一套知識」又多了一項工作。系統要比較不同來源、更新舊結論,並保留內容之間的關聯。單純找回一段原文不夠,還需要一層持續維護的整理結果。
flowchart LR
ASK["希望 agent 記住的內容"] --> ALWAYS["每次對話都要知道"]
ASK --> HISTORY["需要時找回原文"]
ASK --> KNOWLEDGE["持續整理與更新"]
ALWAYS --> CURATED["少量精選記憶"]
HISTORY --> SEARCH["需要原文<br/>搜尋歷史紀錄"]
HISTORY --> SUMMARY["近期接續<br/>讀工作階段摘要"]
KNOWLEDGE --> WIKI["agent 維護的知識 wiki"]
這張圖沒有指定一定要用哪套工具。它先處理資訊何時會被使用,再決定寫入時機、讀取方式與儲存位置。
兩個外部案例
Hermes:分開存偏好與對話
Hermes Agent 同時使用 Markdown 與資料庫。
它把經過挑選的內容放進 MEMORY.md 和 USER.md。前者保存環境、專案慣例與 agent 學到的經驗;後者記錄使用者偏好和溝通方式。根據本文查核時的 Persistent Memory | Hermes Agent,兩份檔案的預設上限分別是 2,200 與 1,375 個字元,合計約 1,300 個模型輸入單位(tokens)。
每場工作階段(session)開始時,Hermes 會把兩份內容以固定快照放進系統提示詞(system prompt)。寫滿後,agent 必須先合併或移除舊條目,不能讓常駐記憶一直增加。
固定快照也帶來一項限制。Agent 在同一場工作階段中修改記憶後,資料會立即寫進檔案,但已建立的系統提示詞不會同步改變。新的內容要等下一場工作階段才會進入常駐脈絡。
完整對話走另一條路。Hermes 把 CLI 與訊息平台的工作階段存進 SQLite,再透過 FTS5 做全文搜尋。使用者問起幾星期前的討論時,agent 才搜尋過去的訊息,取回資料庫裡的原文。
FTS5 是全文搜尋,不是語意搜尋。歷史訊息和問題使用不同說法時,仍可能找不到結果。它的優點是能保存完整紀錄,也不會讓每次對話都負擔全部歷史的輸入成本。
Hermes 的做法可以用兩句話理解。「使用者偏好簡短回答」每次都會影響結果,因此放進精選記憶;「上星期二討論過哪些名稱」只在特定問題出現時有用,因此保存原文再按需搜尋。
LLM Wiki:整理跨來源知識
歷史搜尋能找回說過的內容,卻不會自動把幾十份資料整理成一套持續更新的知識。
Karpathy 提出的 llm-wiki 是一份能交給 AI agent 實作的構想。它包含三層。
- 原始來源由使用者提供,agent 只讀取、不修改,作為查證依據。
- Wiki 由 agent 建立與維護,內容包括摘要、主題頁、比較結果與交叉連結。
- 結構規則(schema)文件規定資料結構、命名方式,以及匯入、查詢和維護流程。使用 Codex 時,可以把這些規則寫進
AGENTS.md。
加入一份新資料時,agent 會讀取內容、更新相關主題頁,並記錄新資料和舊結論之間的矛盾。使用者提出的新問題若產生值得保留的分析,也能寫回 wiki,成為之後繼續使用的整理成果。
index.md 負責列出現有頁面與摘要,log.md 記錄每次匯入、查詢與整理的時間。Karpathy 在原始構想中提到,約 100 份來源、數百個頁面的規模仍能用索引檔導覽。這是他的使用經驗,不代表所有資料集都會得到相同結果。資料繼續增加後,Markdown 也能再搭配全文或語意搜尋。
LLM Wiki 中的主題頁是 agent 根據原始資料整理的結果。重要內容仍要保留它引用了哪些原始來源。缺少來源鏈時,後續頁面可能把先前的摘要當成原始證據,錯誤也會跟著交叉引用繼續流傳。
Karpathy 的做法還規定 agent 如何更新索引、修訂頁面、找出矛盾與檢查失效內容,Markdown 是承載這套流程的格式。
我的三層協定
我的使用情境比 LLM Wiki 小很多。我想處理的是開發偏好、已拍板的專案決策,以及一場工作結束後要如何接續。
每個專案只有一位使用者,記憶量大約落在幾十到幾百條。我用 Markdown 建立三層協定,並放進三個專案執行了兩個月。
第一層:持久記憶
第一層保存使用者偏好、架構決策、否決理由與專案慣例。一則記憶使用一個檔案,附上類型、日期與一句摘要。
MEMORY.md 只放索引,不把所有內文常駐塞進模型脈絡(context)。Agent 遇到相關工作時,再依索引讀取對應檔案。
我也會保存方案被拒絕的理由。只記住最後選了 A,下一場對話仍可能再次提出 B;把當時的限制一起留下,才能減少重跑同一段討論。
第二層:工作階段摘要
「今天修改了哪些檔案」和「還有哪一項測試沒通過」通常只需要保留幾天,不適合和長期偏好共用相同生命週期。
每場工作告一段落後,agent 會在 memory/sessions/ 留下摘要,記錄這次完成的內容、已決定的選項、尚未完成的工作,以及較重要的檔案變動。
這份摘要接近交接文件。它讓下一場對話知道工作停在哪裡,也避免每次重新搜尋與閱讀完整歷史。
檔案不會自己出現。我把觸發條件寫進專案的 AGENTS.md,規定使用者準備離開、工作完成或切換主題時產生摘要。使用的工具若不會自動載入專案指引,就要在對話中另外要求。程式意外中斷時仍可能來不及留下摘要,下一場只能改從 Git diff、任務狀態或原始對話恢復進度。
第三層:啟動讀取
檔案寫好後,還要規定讀取時機。
我的做法是在新對話開始時讀取 MEMORY.md,再讀最近三篇工作階段摘要。索引提供長期背景,近期摘要負責恢復進度。如果最後一篇還有未完成項目,agent 會用一兩句提醒我。
「最近三篇」是目前實際使用後留下的數量。全部載入會讓舊進度占用太多脈絡,只讀一篇又可能漏掉連續幾場的工作。不同專案可以依工作節奏調整。
記憶也需要維護
過期與衝突
跑了兩個月後,最常出現的問題是重複內容與決策過期。
同一項偏好可能被不同說法記錄三次。其中一份更新後,其餘兩份仍留著舊內容,agent 讀完只能重新判斷該相信哪一份。因此每次寫入前都要搜尋既有條目,找到相近內容就更新原檔。
已經翻案的決策也要修改、刪除或標示為失效。日期只能說明內容何時寫入,無法證明它現在仍然成立。專案決策還需要保留目前狀態,以及取代它的新決策。
這些維護規則不限定 Markdown。資料放進 SQLite 或其他資料庫後,仍要處理重複、過期與互相矛盾的內容。儲存空間增加,不會自動判斷哪一筆資訊仍然可信。
來源與敏感資料
Wiki 還要多處理來源鏈。Agent 產生的摘要需要指回原始文件,新的來源推翻舊結論時,也要知道哪些頁面需要更新。
保存完整對話也會留下密鑰、個人資料與內部資訊。我會把記憶目錄留在本機,不提交到公開 repository。一般專案可以先把記憶檔案與 SQLite 加進 .gitignore;確實需要版本紀錄時,再使用私人 repository,並在寫入前排除 API keys、access tokens 與其他敏感內容。
選擇記憶做法
四種做法可以並存
| 要記住的內容 | 讀取時機 | 適合的處理方式 | 主要限制 |
|---|---|---|---|
| 穩定偏好與重要規則 | 每場對話開始 | 容量受控的精選記憶 | 每次都占用模型輸入空間,過期內容會持續影響回答 |
| 完整歷史對話 | 使用者問起舊內容時 | 資料庫與全文搜尋 | 問法不同時可能搜尋不到 |
| 最近工作進度 | 接續前幾場工作時 | 工作階段摘要與索引 | 摘要會遺失部分原始細節 |
| 跨來源整理後的知識 | 加入來源或提出新問題時 | agent 維護的 wiki | 需要保留來源並處理衝突 |
同一個專案可以同時使用四列。以我自己的協定為例,未來若工作階段數量增加,我可以保留現有的 Markdown 持久記憶,再替完整歷史加入 SQLite 搜尋,不必把所有檔案搬進資料庫。
先檢查現有設計
不熟悉資料庫結構或檢索程式碼,也能先讓正在使用的 AI agent 畫出資訊從哪裡進入、保存到哪裡,以及下一場工作如何讀回來。
下面這段可以直接交給它。
1 | 請實際檢查這個專案目前的 AI agent 記憶設計,不要只根據 README 推測,也不要先修改程式碼。 |
這段提示先要求 agent 檢查現有流程,再提出修改。只說「幫我做一套記憶系統」,很容易直接得到一組技術選型,卻沒有回答哪些資訊需要常駐、哪些應該搜尋。
多人服務要加身份隔離
本文的三個案例主要處理個人 agent 與知識管理。系統開始服務多位使用者後,每一筆偏好、歷史對話與 wiki 內容還要標示擁有者,並在讀取時檢查權限。
資料庫能保存很多人的歷史,但每次搜尋仍要帶入經過驗證的使用者身份。這份身份不能由 LLM 自己填寫,否則仍可能讀到另一位使用者的資料。相關的身份來源與權限流程,我整理在上一篇〈多人共用 AI bot,別讓它認錯使用者〉。
檔案或資料庫解決的是內容放在哪裡,權限系統決定目前的人可以讀哪一部分。兩項都完成後,記憶才適合進入多人服務。
我目前的選擇
我的三個專案目前會繼續使用三層 Markdown 協定,因為現有規模仍能人工閱讀與維護。若要保留大量完整對話,我會增加資料庫搜尋;開始進行長期、多來源研究後,再獨立建立 LLM Wiki。
這篇寫完後,我的協定會把這次工作記進工作階段摘要;Hermes 會把完整對話留在 SQLite;如果把資料交給 LLM Wiki,它還會更新相關主題頁。三種做法都叫記憶,保存下來的內容卻不相同。