Together.ai發布ATLAS推理加速器:LLM推理速度提升4倍,開源模型受益最大
Together.ai發布ATLAS推理加速器。推理階段動態優化模型,不需重新訓練即可提逐4倍。即時分析token模式,自動跳過低資訊量計算。支援NVIDIA和AMD GPU。
Together.ai在2026年3月的AI Native Conference上正式發布了ATLAS-2推理加速器,這是一套AdapTive-LeArning Speculator System(自適應學習投機系統)的最新版本。該系統通過革命性的投機解碼框架,在DeepSeek-V3.1等大型語言模型上實現了高達4倍的推理速度提升。
ATLAS系統的核心創新在於其靜態與自適應投機器的巧妙結合。傳統的推理加速方案往往依賴固定的優化策略,難以適應實際生產環境中多變的查詢模式和負載特徵。