事件概要
開發者設計並實現了一款名為 KillSwitch 的程式語言，旨在測試大型語言模型（LLM）對陌生程式碼的理解能力。該語言屬於堆疊式（stack-based）直譯語言，僅包含函式、變數與 if 陳述等有限結構。作者透過基準測試評估主流 LLM 與編碼代理（coding agents）在該語言上的表現，並建立了模型排行榜。
前因與轉變
作者質疑 LLM 撰寫程式碼的能力究竟源自於「理解」還是單純「回憶」訓練數據中的程式片段。為了驗證這一點，作者設計了一款對 LLM 具有敵意（adversarial）的語言。該語言利用 LLM 的弱點，例如難以計算字母數量、過度敏感的安全護欄，以及容易遵循提示的特性。語言規格中包含人類可能忽略或能識破的隱藏謊言，且要求讀者自行推斷規則，而非明確說明。
實務應用
原文沒有提供使用方式。若需進一步了解，可訪問 KillSwitch 的官方網站 https://killswitch-lang.org 查看完整的 Hello World 範例，或前往 GitHub 查看開源的直譯器與語言規格。基準測試的模型排行榜可於 https://bench.killswitch-lang.org/ 檢視。
同類比較
原文沒有跟其他產品比較。測試結果顯示，Claude 的 Opus 5 表現最佳，得分為 66.8；而 Fable 5.1 和 Gemini 4 Argon 因安全護欄過度敏感表現較差；最佳開放權重模型為 MiMo-V2.6-Pro。作者指出，目前測試任務相對簡單（如實作 Hello World、解釋輸出、修改溫度轉換腳本），尚不足以證明 LLM 真正「理解」該語言。
編輯觀察
- 此測試揭示了 LLM 在處理「非標準化」且包含「對抗性設計」的程式碼時，其表現高度依賴於對規格的解讀能力，而非單純的模式匹配。
- 安全護欄（safety guardrails）在特定情境下可能成為效能瓶頸，導致模型在處理看似敏感但實際無害的語法結構時表現不佳，這對於開發需要高自由度編碼能力的 AI 工具具有警示意義。
- 目前基準測試的任務複雜度有限，若未來模型能全數通過，作者計劃設計更複雜的任務集，這將成為評估 LLM 程式理解能力進化的重要指標。