事件概要
LEV 是一種循環決策模型,透過重複執行其層級來增加推理深度,而非生成文字代幣。該模型在單次前向傳遞中計算每個選項的概率,類似雙過程理論中的系統 1,但允許透過停止器進行適配計算。在三個循環骨幹上,同一權重的準確率隨深度增加而提升,主要體現在困難問題上。2.6B 參數的 LEV 在 JevBench 上,從深度一的 63.2% 提升至深度四的 76.2%。
前因與轉變
原文提到傳統決策模型在訓練時固定深度,對簡單與困難問題花費相同計算資源;而生成文字推理模型雖能思考更久,但需為每個額外步驟支付解碼代幣的成本。LEV 旨在解決此問題,透過循環層級來實現更深度的思考。
實務應用
原文沒有提供具體的使用步驟或部署方法。使用者可參考官方提供的專案頁面 (https://openlair.github.io/lev/)、程式碼庫 (https://github.com/OpenLAIR/lev) 或 Hugging Face 上的模型與數據集合 (https://huggingface.co/collections/songdj/lev) 來獲取進一步資訊。
同類比較
原文將 LEV 與密集(非循環)模型及級聯模型進行比較。在鎖定測試集上,1.4B 和 3B 的 LEV 模型比同延遲(低於 50 毫秒)的密集模型和級聯模型準確率高 5.4 至 8.8 點。此外,LEV 與生成文字推理模型相比,避免了生成額外代幣的計算成本。
編輯觀察
- 計算效率與準確率的平衡: LEV 透過循環層級實現「按需深度」,對於需要低延遲(低於 50 毫秒)且高準確率的即時決策應用(如推薦系統、即時分類)具有顯著優勢,特別是 1.4B 和 3B 參數規模的模型。
- 停止器的角色: 小規模停止器能節省 15% 至 24% 的計算量,同時僅損失 0.3 至 0.8 個準確率點,這顯示出在生產環境中動態調整計算資源的潛力,特別是在處理混合難度請求時。
- 模型規模差異: 原文指出適配增益在 1.4B 和 3B 模型上成立,但在 2.6B 模型上未顯示出相同的適應性增益，這提示開發者在選擇模型規模時需考慮停止器的有效性與模型本身的特性。