UltraX：基於自適應程式化編輯的大規模預訓練數據精煉框架

隨著訓練數據資源逼近物理極限，大型語言模型的性能提升正從單純的數據規模擴張轉向數據質量的精細化利用。針對現有大規模語料精煉方法在質量、效率與可靠性上的瓶頸，本文提出 UltraX，一種基於函數呼叫的大規模預訓練數據精煉框架。UltraX 突破了傳統僅依賴刪除和修改的局限，引入插入操作以完善編輯功能空間，實現了細粒度的實例級編輯。該方法構建了可靠的程式監督生成流水線，透過數據集自適應的提示詞優化引導專家模型生成高品質文本，並利用行對齊映射和動態上下文替換將其轉化為結構化程式監督訊號。結合低信心過濾與比例控制採樣，UltraX 顯著提升了監督質量與訓練穩定性。實驗表明，UltraX 在所有語料庫上均取得最高平均效能，且在訓練 Token 更少的情況下匹配或超越基線，展現出卓越的數據效率與精煉可靠性。