【投稿】系統性聯合優化 實現生成式AI降本增效
生成式人工智能（AI）模型的訓練成本日益高昂，高效訓練已不再只是演算法層面的問題，而是一個涉及硬件、訓練系統、模型與數據的系統工程；與此同時，AI技術迭代極快，研究者也面臨「如何不被淘汰」的現實拷問。前者要求我們從整體協同中尋找數量級的效率提升，後者則要求研究者在快速變化的技術浪潮中關注底層長期問題、保持對資訊的敏感並相信團隊。可以說，無論是降低大模型訓練成本，還是保持研究的長期價值，答案都不在於單點突破，而在於系統性布局與持續調整。
生成式AI模型的訓練成本日益高昂，但高效訓練本質上是系統問題，而不只是演算法問題。過去談高效訓練，大家往往先想到把模型做小，或設計計算量更低的演算法。然而，訓練大模型更像經營一條大型生產線：模型只是其中一台機器，最終成本還取決於設備能否正常運作、數據能否及時送達、機器之間如何配合，以及投入的「原料」是否有價值。只改進單一環節，整體效率未必明顯提高。
首先是硬件。不同計算設備各有特點，有的擅長同時處理大量任務，有的更適合特定運算；只有讓模型設計與硬件能力相互配合，才能真正發揮設備效能。
其次是訓練平台和系統調度。很多時候模型並非在「計算」，而是在「等待」——等待數據讀取、設備之間交換資訊或資源重新分配。就像生產線中某台機器提速30%，若原料送不過來或前後銜接不上，整體產量仍不會提高多少。
此外，還需關注模型本身的效率。不必每次都重訓整個模型，可以只調整與新任務最相關的部分，或讓較小模型學習大模型已掌握的能力；有些大模型在每次任務中只調用部分能力，如同大型醫院不必每次召集所有科室，而按病人情況請最相關的專家參與，既保留能力又降低計算成本。
最後是數據效率。大模型需要大量數據，但並非越多越好；很多數據可能重複、品質不高或與目標無關。若能從海量數據中篩選出最有價值的部分，就可能用更少數據訓練出同樣甚至更好的模型。
綜上，目前最有效的方法不是尋找一個能解決所有問題的單一技術，而是把硬件、訓練系統、模型和數據幾個層面同時打通。
近年，DeepSeek、Kimi等模型也讓人更清楚地看到，真正顯著的效率提升往往來自多環節協同改進：每一層可能只改進百分之十或幾十，但疊加起來可能帶來數量級的效率提升。只優化模型本身已很難滿足當今大模型訓練需求，真正顯著地降低成本需要系統性聯合優化。
從技術協同到「人」的協同
硬件、訓練系統、模型與數據如何協同降本，那麼接下來要討論的是「人」的系統性。因為技術路線和具體模型會快速更替，真正能持續推動系統優化的，是研究者能否盯住底層問題、保持資訊敏感並依靠團隊協作。
面對AI技術快速迭代，沒有人能保證自己的研究永遠不被淘汰。筆者能做的，是讓自己盡量比眼前問題多想一步，同時保持足夠快的學習和調整能力。
第一，要「多想一步」。解決一個問題時，同時追問是否已有人做過、能否再往前走一步。真正有價值的研究，不只是把已有方法的表現提高幾個百分點，而是提前看到下一階段會出現什麼問題。具體模型和技術可能很快變化，但效率、可靠性、AI如何真正進入現實世界等底層問題不會輕易消失；研究這些長期問題，就不容易因某個新模型發布而立刻失去意義。
第二，要保持對資訊的敏感。這個領域變化太快，只偶爾讀幾篇論文不夠；筆者會持續閱讀、與同行交流，也用AI工具幫助自己搜尋和整理新進展。但獲取資訊不是追逐每一個熱點，而是不斷檢查自己的判斷：原來認為重要的問題現在還重要嗎？方向是否需要調整？過程中要保持謙遜，因為每個人掌握的知識都只是巨大網絡中的一個節點，連接的節點越多，看到的資訊才可能更完整。
第三，要相信團隊，尤其是相信學生。一個人的時間和認知有限，作為導師，筆者不可能在所有問題上都知道得最多，也不應假裝自己全知全能；每位學生都在自己的方向閱讀、實驗和思考，筆者經常能從他們那裏學到新技術，甚至被他們的想法推翻原判斷。好的團隊不是所有人都只聽一個人說話，而是每個人都能帶來新的資訊和視角。
●陽行意 香港理工大學數據科學及人工智能學系助理教授、校長青年學者
