subprocess 在 Windows 的 cp950 編碼坑
最近做的東西常常要用程式開 subprocess 去呼叫 LLM。如果讓 LLM 直接寫檔,或輸出都是英文,都不會有問題;但只要 LLM 回傳中文,而且程式需要拿這段回傳結果接著處理,就會撞到 UnicodeDecodeError。
為什麼會遇到問題
Python 的 subprocess 在文字模式下抓輸出,會拿「系統的預設編碼」去解,而這個預設每個系統不一樣,一般 Mac、Linux 是 UTF-8,但繁體中文的 Windows 是 cp950。
LLM 回的中文是 UTF-8,Windows 拿 cp950 去解碼就會撞到對不上的 byte,直接爆炸。
那叫 AI 改回英文不就好了?但我要的就是那段中文啊,它最後還是得從同一條管子回來,問題是 Windows 怎麼解碼,跟 AI 講哪國話無關。真為了閃這個改成全英文,等於把想要的東西也一起丟了,本末倒置。
解法:別讓 Python 自己猜
知道問題是什麼就好解決了,直接指定編碼就好
1 | result = subprocess.run( |
如果整個專案都在 Windows 中文環境跑,也可以更上游一點,設個環境變數 PYTHONUTF8=1,讓 Python 全程吃 UTF-8。