AI學堂/什麼是縮放定律?

  在人工智能(AI)和深度學習(DL)領域,縮放定律(Scaling Laws)指的是模型性能如何隨計算量、參數規模和數據量的增加而變化的規律。這些定律幫助研究者理解如何提高AI性能,以及是否值得投入更多資源來訓練更大的模型。

  如果用「培育一棵樹」的比喻來理解縮放定律,樹的樹根深度即為大模型的模型參數量;土壤養分為訓練數據量,陽光能量為計算資源,果實甜度為模型性能。當樹根更深(模型參數量更大)、土壤更肥(訓練數據量更大)、陽光更足(算力更強),果實會越來越甜(模型性能更強),且甜度提升速度超過投入增長─直到遇到「玻璃天花板」,此時再增加投入,甜度增幅急劇放緩。

  就像園林大師不會盲目追求最高樹木,AI工程師通過縮放定律尋找「甜蜜點」:在算力預算內,找到使(性能提升/資源消耗)比值最大的參數─數據─算力組合,這就是DeepSeek以算法突圍而出的關鍵所在。