Together.ai發布ATLAS推理加速器：LLM推理速度提升4倍，開源模型受益最大
Together.ai發布ATLAS推理加速器。推理階段動態優化模型，不需重新訓練即可提逐4倍。即時分析token模式，自動跳過低資訊量計算。支援NVIDIA和AMD GPU。
Together.ai在2026年3月的AI Native Conference上正式發布了ATLAS-2推理加速器，這是一套AdapTive-LeArning Speculator System（自適應學習投機系統）的最新版本。該系統通過革命性的投機解碼框架，在DeepSeek-V3.1等大型語言模型上實現了高達4倍的推理速度提升。 ATLAS系統的核心創新在於其靜態與自適應投機器的巧妙結合。傳統的推理加速方案往往依賴固定的優化策略，難以適應實際生產環境中多變的查詢模式和負載特徵。
Sources
FAQ
ATLAS-2在DeepSeek-V3.1上能實現多大的推理速度提升？
ATLAS-2在DeepSeek-V3.1等大型語言模型上實現了高達4倍的推理速度提升，並在高負載場景下穩定達到500 TPS的處理能力。
ATLAS系統的核心技術創新是什麼？
ATLAS的核心創新在於靜態與自適應投機器的巧妙結合，靜態投機器處理常見查詢模式，自適應投機器能夠實時從流量中學習並動態調整預測策略。
什麼是ATLAS的熱交換能力？
ATLAS的熱交換能力是指在不中斷服務的情況下動態更新投機策略，通過精心設計的狀態管理和策略切換機制實現毫秒級的策略熱更新。
Aurora開源框架的意義是什麼？
Aurora開源框架包含了ATLAS核心算法的開源實現和完整的工具鏈，使得中小型AI公司和研究機構也能享受先進推理加速技術，支持90%以上的開源模型。