頻域預測破解「重複運算」瓶頸
Diffusion Transformer (DiT, 一種用於生成高保真影像與影片的 AI 架構) 的核心痛點在於推論成本。為了生成一張圖或一段影片，模型需要在多個去噪步驟中反覆執行 Transformer 評估，這導致了巨大的計算負擔。現有的特徵快取 (Feature Caching) 技術試圖透過重用特徵來降低成本，而較新的預測方法則嘗試外推特徵以跳過部分步驟。然而，這些方法存在一個根本缺陷：它們假設特徵在所有空間頻率成分上的變化是均勻的，且去噪過程是線性的。事實上，不同頻段的變化速率差異巨大，且去噪進度並非均勻分佈。這種錯配導致跳過的步驟越多，預測誤差越大，最終限制了加速的潛力。
每個頻段擁有自己的「時鐘」
SpecKCast 提出了一種免訓練 (Training-free) 的解決方案，核心思想是在頻域進行預測。該方法對模型輸出應用二維離散餘弦變換 (2D DCT, 一種將空間訊號轉換為頻率係數的數學方法)，並為每個頻率帶建立輕量級的卡爾曼濾波器 (Kalman Filter, 一種用於追蹤動態系統狀態的演算法)。關鍵創新在於，每個濾波器都沿著一個基於雜訊排程 (Noise Schedule) 的「頻帶特定時間座標」進行追蹤。這意味著高頻與低頻成分不再被強制同步更新，而是根據它們各自的變化速率獨立預測。濾波器同時追蹤係數的值與變化率，只有當預測不確定性超過特定閾值時，才會觸發 Transformer 的實際評估。
實測數據：6 倍加速與極低記憶體負擔
在 FLUX.1-dev、Qwen-Image、Wan2.1-14B 和 HunyuanVideo 等主流模型上的實驗顯示，SpecKCast 在加速比與生成保真度之間取得了優於現有快取與預測方法的平衡。具體數據顯示，該方法可實現最高 6 倍的推論速度提升，而額外佔用的記憶體不到 0.05 GiB。這一結果證明了頻域預測不僅能顯著降低計算開銷，還能將資源佔用控制在極低水平，使其在硬體資源受限的環境中具備高度的實用性。
主筆觀點
我認為 SpecKCast 的真正價值不在於「加速」本身，而在於它揭示了 Diffusion Transformer 推論優化的一個盲點：我們長期以來錯誤地假設去噪過程是「時間上均勻」的。現有的快取技術之所以在跳過步驟時容易崩潰，是因為它們用同一把尺去量所有頻段的變化，而 SpecKCast 承認了不同頻率成分有各自的「節奏」。這是一種更符合物理直覺的建模方式。
反過來看，有人可能會質疑「免訓練」意味著它無法針對特定模型做深度優化，上限可能不如端到端訓練的方法。但對於白領與開發者而言，「即插即用」且記憶體開銷極低 (0.05 GiB) 的特性，意味著它可以無縫嵌入現有的生產管線，而不需要重新訓練或調整超參數。這降低了技術門檻，讓中小團隊也能享受大模型加速的紅利。
接下來該關注的訊號是：各大模型廠商 (如 Stability AI 或阿里通義) 是否會在官方推理引擎中整合類似的頻域預測機制。如果主流框架開始預設啟用這種「自適應跳步」策略，那麼 Diffusion 模型的部署成本將出現斷層式下降，這將直接影響到 AI 影像生成服務的定價模型與市場格局。
以上為魔法報紙編輯部觀點,不代表原報導立場。