AI agent 的記憶該放哪裡?從 Markdown、SQLite 到 LLM Wiki

偏好、對話歷史與整理後的知識,需要不同的讀寫方式

剛開始用 AI agent 寫程式時,我沒有特別在意記憶這件事。只要工作留在同一段對話裡,它還記得前面做過的決定,也知道我剛才否決了哪個方案,感覺一切都沒問題,直到我關掉對話,隔天開啟新的工作階段之後。昨天已經決定不用的工具又被提了一次,commit message 的格式要重新交代,做到一半的工作也得花時間說明。

我最早的處理方式很直覺,把這些內容寫進 MEMORY.md,每次開始前讓 agent 讀取。這個方法一開始確實有用,新對話終於不必每次都從頭建立背景知識。

但我把這個方法放進三個專案跑了兩個月後,一份檔案開始同時裝著長期規則、短期進度與知識整理。它們都被叫作記憶,保存期限和使用方式卻不一樣。

這時我才把 LLM 與 AI agent 分開看。LLM 負責理解文字與產生回答;AI agent 則是包住 LLM、能儲存資料與呼叫工具的完整系統。跨對話記憶由外層系統保存,再於適當時機交給 LLM。

Hermes 把精選資訊放進 Markdown,完整對話則存進 SQLite;Andrej Karpathy 的 LLM Wiki 讓 agent 持續整理讀過的資料。

我的三層協定處理的範圍比較小,分成持久記憶、工作階段摘要與啟動讀取。第一層保存長期規則,第二層記錄近期進度,第三層規定新對話要載入哪些檔案。把這些案例放在一起,可以看出不同記憶各自需要的讀寫方式。

快速摘要:AI agent 的記憶要先決定資訊何時被讀取與更新,再選擇 Markdown、資料庫或 wiki。最近的工作進度屬於歷史的一部分,可以先產生工作階段摘要,需要原文時再回頭搜尋。

先按用途分類

如果使用者說「commit message 請用中文」,agent 在下一場工作開始時就要知道。這類資訊數量不多,使用頻率很高,適合放進精簡的偏好或專案記憶。

「找出上星期討論過的三個名稱」屬於另一種需求。完整對話可能累積幾十萬字,沒有必要每次全部交給 LLM。系統可以保存原始內容,等使用者問起時再搜尋。

最近的工作進度也屬於歷史資訊,但下一場對話很可能立即用到。系統可以在工作結束時先留下短摘要,接續時直接讀摘要;需要細節時,再回到完整對話。

「把最近讀過的資料整理成一套知識」又多了一項工作。系統要比較不同來源、更新舊結論,並保留內容之間的關聯。單純找回一段原文不夠,還需要一層持續維護的整理結果。



flowchart LR
  ASK["希望 agent 記住的內容"] --> ALWAYS["每次對話都要知道"]
  ASK --> HISTORY["需要時找回原文"]
  ASK --> KNOWLEDGE["持續整理與更新"]

  ALWAYS --> CURATED["少量精選記憶"]
  HISTORY --> SEARCH["需要原文<br/>搜尋歷史紀錄"]
  HISTORY --> SUMMARY["近期接續<br/>讀工作階段摘要"]
  KNOWLEDGE --> WIKI["agent 維護的知識 wiki"]

這張圖沒有指定一定要用哪套工具。它先處理資訊何時會被使用,再決定寫入時機、讀取方式與儲存位置。

兩個外部案例

Hermes:分開存偏好與對話

Hermes Agent 同時使用 Markdown 與資料庫。

它把經過挑選的內容放進 MEMORY.md 和 USER.md。前者保存環境、專案慣例與 agent 學到的經驗;後者記錄使用者偏好和溝通方式。根據本文查核時的 Persistent Memory | Hermes Agent,兩份檔案的預設上限分別是 2,200 與 1,375 個字元,合計約 1,300 個模型輸入單位(tokens)。

每場工作階段(session)開始時,Hermes 會把兩份內容以固定快照放進系統提示詞(system prompt)。寫滿後,agent 必須先合併或移除舊條目,不能讓常駐記憶一直增加。

固定快照也帶來一項限制。Agent 在同一場工作階段中修改記憶後,資料會立即寫進檔案,但已建立的系統提示詞不會同步改變。新的內容要等下一場工作階段才會進入常駐脈絡。

完整對話走另一條路。Hermes 把 CLI 與訊息平台的工作階段存進 SQLite,再透過 FTS5 做全文搜尋。使用者問起幾星期前的討論時,agent 才搜尋過去的訊息,取回資料庫裡的原文。

FTS5 是全文搜尋,不是語意搜尋。歷史訊息和問題使用不同說法時,仍可能找不到結果。它的優點是能保存完整紀錄,也不會讓每次對話都負擔全部歷史的輸入成本。

Hermes 的做法可以用兩句話理解。「使用者偏好簡短回答」每次都會影響結果,因此放進精選記憶;「上星期二討論過哪些名稱」只在特定問題出現時有用,因此保存原文再按需搜尋。

LLM Wiki:整理跨來源知識

歷史搜尋能找回說過的內容,卻不會自動把幾十份資料整理成一套持續更新的知識。

Karpathy 提出的 llm-wiki 是一份能交給 AI agent 實作的構想。它包含三層。

  • 原始來源由使用者提供,agent 只讀取、不修改,作為查證依據。
  • Wiki 由 agent 建立與維護,內容包括摘要、主題頁、比較結果與交叉連結。
  • 結構規則(schema)文件規定資料結構、命名方式,以及匯入、查詢和維護流程。使用 Codex 時,可以把這些規則寫進 AGENTS.md。

加入一份新資料時,agent 會讀取內容、更新相關主題頁,並記錄新資料和舊結論之間的矛盾。使用者提出的新問題若產生值得保留的分析,也能寫回 wiki,成為之後繼續使用的整理成果。

index.md 負責列出現有頁面與摘要,log.md 記錄每次匯入、查詢與整理的時間。Karpathy 在原始構想中提到,約 100 份來源、數百個頁面的規模仍能用索引檔導覽。這是他的使用經驗,不代表所有資料集都會得到相同結果。資料繼續增加後,Markdown 也能再搭配全文或語意搜尋。

LLM Wiki 中的主題頁是 agent 根據原始資料整理的結果。重要內容仍要保留它引用了哪些原始來源。缺少來源鏈時,後續頁面可能把先前的摘要當成原始證據,錯誤也會跟著交叉引用繼續流傳。

Karpathy 的做法還規定 agent 如何更新索引、修訂頁面、找出矛盾與檢查失效內容,Markdown 是承載這套流程的格式。

我的三層協定

我的使用情境比 LLM Wiki 小很多。我想處理的是開發偏好、已拍板的專案決策,以及一場工作結束後要如何接續。

每個專案只有一位使用者,記憶量大約落在幾十到幾百條。我用 Markdown 建立三層協定,並放進三個專案執行了兩個月。

第一層:持久記憶

第一層保存使用者偏好、架構決策、否決理由與專案慣例。一則記憶使用一個檔案,附上類型、日期與一句摘要。

MEMORY.md 只放索引,不把所有內文常駐塞進模型脈絡(context)。Agent 遇到相關工作時,再依索引讀取對應檔案。

我也會保存方案被拒絕的理由。只記住最後選了 A,下一場對話仍可能再次提出 B;把當時的限制一起留下,才能減少重跑同一段討論。

第二層:工作階段摘要

「今天修改了哪些檔案」和「還有哪一項測試沒通過」通常只需要保留幾天,不適合和長期偏好共用相同生命週期。

每場工作告一段落後,agent 會在 memory/sessions/ 留下摘要,記錄這次完成的內容、已決定的選項、尚未完成的工作,以及較重要的檔案變動。

這份摘要接近交接文件。它讓下一場對話知道工作停在哪裡,也避免每次重新搜尋與閱讀完整歷史。

檔案不會自己出現。我把觸發條件寫進專案的 AGENTS.md,規定使用者準備離開、工作完成或切換主題時產生摘要。使用的工具若不會自動載入專案指引,就要在對話中另外要求。程式意外中斷時仍可能來不及留下摘要,下一場只能改從 Git diff、任務狀態或原始對話恢復進度。

第三層:啟動讀取

檔案寫好後,還要規定讀取時機。

我的做法是在新對話開始時讀取 MEMORY.md,再讀最近三篇工作階段摘要。索引提供長期背景,近期摘要負責恢復進度。如果最後一篇還有未完成項目,agent 會用一兩句提醒我。

「最近三篇」是目前實際使用後留下的數量。全部載入會讓舊進度占用太多脈絡,只讀一篇又可能漏掉連續幾場的工作。不同專案可以依工作節奏調整。

記憶也需要維護

過期與衝突

跑了兩個月後,最常出現的問題是重複內容與決策過期。

同一項偏好可能被不同說法記錄三次。其中一份更新後,其餘兩份仍留著舊內容,agent 讀完只能重新判斷該相信哪一份。因此每次寫入前都要搜尋既有條目,找到相近內容就更新原檔。

已經翻案的決策也要修改、刪除或標示為失效。日期只能說明內容何時寫入,無法證明它現在仍然成立。專案決策還需要保留目前狀態,以及取代它的新決策。

這些維護規則不限定 Markdown。資料放進 SQLite 或其他資料庫後,仍要處理重複、過期與互相矛盾的內容。儲存空間增加,不會自動判斷哪一筆資訊仍然可信。

來源與敏感資料

Wiki 還要多處理來源鏈。Agent 產生的摘要需要指回原始文件,新的來源推翻舊結論時,也要知道哪些頁面需要更新。

保存完整對話也會留下密鑰、個人資料與內部資訊。我會把記憶目錄留在本機,不提交到公開 repository。一般專案可以先把記憶檔案與 SQLite 加進 .gitignore;確實需要版本紀錄時,再使用私人 repository,並在寫入前排除 API keys、access tokens 與其他敏感內容。

選擇記憶做法

四種做法可以並存

要記住的內容 讀取時機 適合的處理方式 主要限制
穩定偏好與重要規則 每場對話開始 容量受控的精選記憶 每次都占用模型輸入空間,過期內容會持續影響回答
完整歷史對話 使用者問起舊內容時 資料庫與全文搜尋 問法不同時可能搜尋不到
最近工作進度 接續前幾場工作時 工作階段摘要與索引 摘要會遺失部分原始細節
跨來源整理後的知識 加入來源或提出新問題時 agent 維護的 wiki 需要保留來源並處理衝突

同一個專案可以同時使用四列。以我自己的協定為例,未來若工作階段數量增加,我可以保留現有的 Markdown 持久記憶,再替完整歷史加入 SQLite 搜尋,不必把所有檔案搬進資料庫。

先檢查現有設計

不熟悉資料庫結構或檢索程式碼,也能先讓正在使用的 AI agent 畫出資訊從哪裡進入、保存到哪裡,以及下一場工作如何讀回來。

下面這段可以直接交給它。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
請實際檢查這個專案目前的 AI agent 記憶設計,不要只根據 README 推測,也不要先修改程式碼。

1. 畫出一段資訊從對話進入系統、被保存,到下一場對話重新取用的完整流程。
2. 把現有資訊分成四類:
- 每場工作都要使用的精選資訊
- 需要時才搜尋的原始歷史
- 需要持續整理與修訂的知識
- 只負責近期工作接續的摘要
3. 對每一類標出儲存位置、寫入時機、讀取時機、更新方式、刪除方式與原始來源。
4. 檢查同一項偏好重複出現、舊決策已經翻案,以及 agent 找不到過去原文時,系統目前會怎麼處理。
5. 如果系統服務多位使用者,標出身份由哪裡取得,以及查詢如何限制只能讀取目前使用者的資料。
6. 提出最小修改方案並規劃測試。沒有實作的部分請標示「目前缺少」,不要假設它已經存在。

請先提供流程圖、分類表、風險與測試計畫,等我確認後再修改專案。

這段提示先要求 agent 檢查現有流程,再提出修改。只說「幫我做一套記憶系統」,很容易直接得到一組技術選型,卻沒有回答哪些資訊需要常駐、哪些應該搜尋。

多人服務要加身份隔離

本文的三個案例主要處理個人 agent 與知識管理。系統開始服務多位使用者後,每一筆偏好、歷史對話與 wiki 內容還要標示擁有者,並在讀取時檢查權限。

資料庫能保存很多人的歷史,但每次搜尋仍要帶入經過驗證的使用者身份。這份身份不能由 LLM 自己填寫,否則仍可能讀到另一位使用者的資料。相關的身份來源與權限流程,我整理在上一篇〈多人共用 AI bot,別讓它認錯使用者〉。

檔案或資料庫解決的是內容放在哪裡,權限系統決定目前的人可以讀哪一部分。兩項都完成後,記憶才適合進入多人服務。

我目前的選擇

我的三個專案目前會繼續使用三層 Markdown 協定,因為現有規模仍能人工閱讀與維護。若要保留大量完整對話,我會增加資料庫搜尋;開始進行長期、多來源研究後,再獨立建立 LLM Wiki。

這篇寫完後,我的協定會把這次工作記進工作階段摘要;Hermes 會把完整對話留在 SQLite;如果把資料交給 LLM Wiki,它還會更新相關主題頁。三種做法都叫記憶,保存下來的內容卻不相同。