一個人也需要 SRE

服務無聲消失了 16 小時,逼我替它補上自動重啟、外部心跳與開機自啟。查完才發現,這些問題早就是 SRE 的日常。

我有一個常駐的 AI 助理 bot,平常會主動推播提醒、報告工作進度,偶爾覺得它有點吵。某天下午我要重啟它裝新功能,才發現它消失了一陣子。log 最後一行停在前一天早上十點多,沒報錯,也沒留下半點線索,就這樣安靜地不見了 16 個小時。事後推測應該是機器重開的時候沒有一起把服務重啟。

這讓我開始思考一個問題:要是哪天換別的原因害它死掉,我會不會一樣過了半天才發現?畢竟我平常只有在它跳出訊息的時候去確認,它沒跳訊息的時候我不會特別去看它,所以很難發現它掛了。

我養這個 bot,本來就是想少花點精力在日常瑣事上。要是反過來得每天盯它有沒有在做事,那反而本末倒置。所以我幫它補了一套三層防線,還在查資料時撞到一件好笑的事。

快速摘要:這次遇到的長駐服務失效,我先分成三種,再用三層防線去接:自動重啟、站在主機外面的心跳監控、開機自啟。背後一句話是「監測的機制不能跟被監測的東西一起死」。後來查了業界做法,發現這些問題早就在 SRE 的範圍裡,附名詞和現成工具。

如果只是單機要顧一個服務,Linux 用 systemd,Windows 註冊成 Windows Service,再配一個 Healthchecks.io,三層就到齊了。

先分清楚,它會怎麼死

服務掛掉分好幾種。這次我先把常見的失效方式分成三類,麻煩程度差很多,差在「它死得有多安靜」:

  • 大喊一聲才死:程式噴錯退出,留了一整串 stack trace。這種至少最好追,因為它通常會留下線索,讓我們知道該從哪裡開始查。
  • 沒斷氣、卻不做事:這就是占著茅坑不拉屎,它還在工作崗位上領它的薪水但沒有幫我做事,process 還在,功能卻停了。我之前寫過排程默默不執行就是這種,你去看它一切正常,就是該動的時候沒動。
  • 無聲無息消失:機器重開、記憶體被系統收走、被誰誤殺。應用程式自己的 log 可能連一行都來不及留,線索散落在系統事件或核心紀錄裡。

越是「設好就不用管」的長駐服務,越容易死在後面兩種。你不會每天盯著它,它也沒有力氣喊救命。

看門的人,不能睡在屋裡

先講一個你家就有的東西:煙霧偵測器。

它為什麼裝在天花板、還自己帶一顆電池?因為如果它只靠家裡的電路,哪天電線走火、跳電了,它剛好跟著斷電,火最大的那一刻它已經睡死了。它至少要有獨立的備援電源,不能在房子跳電時跟著完全失效。

長駐服務的守護也是同一句話:監測一個東西的機制,不能跟那個東西一起死。管理員可以跟服務住在同一台機器,但外部心跳監控得站到主機外面;開機自啟則交給作業系統。三層不是整齊的一圈包一圈,比較像一條恢復鏈,再加上一條獨立的報警線:



flowchart LR
  OS[第三層:作業系統開機自啟] --> SUP[第一層:服務管理員]
  SUP -->|啟動與監督| SVC([長駐服務])
  SUP -.異常退出後重啟.-> SVC
  SVC -->|完成工作後定時打卡| HC[第二層:外部心跳監控]
  HC -->|逾時告警| YOU([你的手機])

第一層 管理員:倒了就扶它起來

先接最單純的死法,自己把遺書寫好的死法。

這邊的處理方法很簡單,就是不要讓服務「自己跑」,我們在它旁邊派一個管理員,服務一倒就把它扶起來。

但這個管理員不是隨便找一個就可以,它必須具備兩個技能。

一是分辨「它是自己想重開」還是「它壞了」,這兩種的待遇不一樣。二是壞掉的時候不能秒扶秒倒。想像你去扶一個站不穩的醉漢,扶起來他又倒、你再扶他又倒,你會被拖著一起累死;服務壞了如果每秒重生一次,CPU、log 和外部依賴都可能先被它打爆。正確做法是加入重啟間隔和頻率限制,必要時再讓等待時間逐步增加,至少不能讓它無限高速重生。

要做到第一件事,服務跟管理員之間得先講好一套暗號,區分「我要重開」「我壞了」「我正常收工、別扶我」。有了暗號,連「重啟」都變安全:服務好好收工、丟一個「我要重開」的信號、管理員拉新的起來。

第二層 哨兵:站在門外敲門

第二種死法最陰險,沒斷氣、卻不做事,這種管理員接不住,得靠站得更外面的哨兵。

你可能會問,既然管理員會自動把服務重啟,還要哨兵幹嘛?因為管理員站在服務旁邊,服務摔倒它看得到,但有兩個情況它沒辦法處理:它自己睡著了沒人管,還有服務「人在、心不在」的時候。後面這種 process 活得好好的,功能其實早就停了,管理員在旁邊只覺得一切正常。

哨兵有兩種站法。一種是它定時來敲門,主動問服務還好不好;另一種是要求服務定時去外面打卡,哪天該到卻沒到,外面的人就打電話通知我。對我這種單機服務,後者更直接:bot 每次真的完成工作後,就向外部監控送一次心跳。這個角色有兩個地方最容易做錯。

第一,報警要用一支跟這棟房子無關的電話。如果報警得透過房子裡的廣播系統,那房子燒了廣播也沒了。哨兵不能跟 bot 住在同一台機器上,通知我的那條路也不能經過 bot 本身。主機關機、系統卡死或服務壞掉時,外面的監控還是得有辦法直接通知手機。

第二,「你還在嗎」這句話問錯了。你打電話給值班的人問「你在不在」,他回「在」,但他可能人在、正在滑手機。真正該問的是「你手上那件事,上一次做完是多久以前?」他要是說三小時前,那就算接了電話,也是掛機狀態。只證明「有人接電話」不夠,得證明「有人在做事」。所以讓服務回報的別只是「我還活著」,要能回答「我上一次真的完成工作是什麼時候」,這樣才擋得住那種沒斷氣卻不做事的死法。

第三層 開機自啟:停電後叫醒大家

最後一種死法最徹底,整台機器重開,把上面所有東西一起帶走。

問題是,服務和管理員本身也都是程式。機器一重開,它們會一起歸零。我那 16 小時就死在這,前面的監督邏輯根本都寫好了,機器半夜重開一次(尤其是 Windows Update),把它們一起帶走,然後沒有任何人負責把它們叫醒。外部心跳監控倒是還活著,只是當時的我根本還沒讓它盯這件事。

這一層只能交給作業系統本身,讓它在開機時自動把服務管理員拉起來。它是整串的地基,這層不做,上面寫得再漂亮,停電後也沒人開燈。

誰來看守看守者?

聰明的你大概已經想到了,哨兵自己也是程式,它死了怎麼辦?

順著「監測者要在外面」這句話推下去,會掉進一個無底洞,哨兵要一個哨兵,那個哨兵又要一個哨兵。這個遞迴不能靠「寫一個笨到不會死的本機程式」停下來,因為它再笨,主機斷電時還是會一起消失。

比較實際的停法,是把最外圈交給另一個故障域裡的外部服務。它當然也可能壞,只是至少不會跟我的 bot 因為同一次重開機、同一顆硬碟或同一段程式一起消失。再往外疊看門狗的看門狗,只會蓋出一座無限高的塔(抖

這整套早就有名字

三層都寫好、服務乖乖活著之後,我順手查了「別人都怎麼防這種事」。結果發現,我自己摸索出的這套做法,正好落在 SRE(站點可靠性工程)關注的範圍裡:服務監督、健康檢查、外部告警,以及故障後自動恢復。Google 那本《Site Reliability Engineering》就是這個領域的經典教材。我那三層,每一層都有正式名字,每個念頭都有人做成現成工具。

那個「管理員」,業界叫 process supervisor。Linux 常見的 systemd 就能負責這件事,內建異常後重啟、重啟間隔和啟動頻率限制,正好能處理第一層的大部分需求。在 Kubernetes 裡,容器如果反覆啟動又崩潰,系統會逐步拉長重啟間隔,最後常會看到那個熟悉的狀態:CrashLoopBackOff。玩過 Kubernetes 的人大概都被它的紅字瞪過。

那個「哨兵敲門」,在容器平台裡常叫 health probe,而且分得比我細:liveness 管「我是不是卡死了,要不要重啟」,readiness 管「我現在能不能接工作,不能就先別把流量送過來」。我講的「不能只回一句我還在、要證明有在做事」,正是他們早就踩過的坑。至於我最後採用的外部打卡,則比較接近後面會提到的 heartbeat monitoring。

這裡還讓我補到一個原本會犯的錯:外部依賴可以檢查,但不要直接綁進 liveness 的重啟判斷。資料庫連不上時,服務可能應該暫停接收新工作、回報 degraded 或發出告警,卻不一定適合不斷重啟。不然資料庫一掛,服務被判死、重啟、資料庫還是沒好、又被判死,最後自己把自己踩進 crash loop。liveness 該確認的是「我自己的工作迴圈還有沒有在跳」,不是要求整個世界都得跟著健康。

「報警要走一支跟房子無關的電話」,其實是這裡面很常見的一招,叫 dead man’s switch,或叫心跳監控。現成服務一堆,像 Healthchecks.io、Dead Man’s Snitch。它們不是定時進來戳我的 bot,而是反過來要求 bot 主動去外面打卡,哪天該報平安卻沒出現,就直接通知我。連整台主機消失都能一起抓到。

連我那個「誰來看守看守者」的無限遞迴,業界也有類似做法。Prometheus/Alertmanager 的常見配置裡,會放一條永遠處於 firing 狀態的 Watchdog 警報,再交給外部的 dead man’s switch 盯著。哪天這條本來永遠會響的警報不響了,外部就知道整套監控自己可能死了。答案不是讓最外圈永遠不壞,而是別讓它和裡面那一圈一起壞。

殺雞不用牛刀,我平常寫的簡單服務在 Linux 用 systemd,Windows 註冊成 Windows Service,再配一個 Healthchecks.io,三層就到齊了。放大到公司才需要那整套,但骨架跟你在家土炮的一模一樣。

最後

這三層防的是「它死掉」,防不了「它做錯事」。服務要是活得好好的、health 也正常回報,卻把某筆資料算錯了,看門狗只會一路跟你說一切安好。「它還在做事」跟「它做對事」是兩回事,這套只保證前者。後者是另一個題目,得靠別的東西守,這篇罩不到。


三層設完之後,服務一斷氣,一分鐘內我手機就會叮一聲。當初還嫌這 bot 有點吵,結果我又在旁邊多養了一隻,專門在它出事的時候吵我,家裡的叮咚聲大概只會更多,但至少不會再有下一個安靜消失的 16 小時了(?