話你知/「知識蒸餾」

  據DeepSeek回答大公報記者提問,「知識蒸餾」(Knowledge Distillation)是一種被廣泛認可且合法的機器學習技術,其本身並不構成「偷竊」。就技術本質而言,「知識蒸餾」屬知識傳遞,而非複製。其核心原理是知識蒸餾通過讓小型模型(學生模型)學習大型模型(教師模型)的「知識」(如輸出概率分布或中間特徵表示),而非直接複製代碼或參數。這類似於學生向老師學習解題思路,而不是抄襲答案。

  需要指出的是,蒸餾出來的最終模型仍需獨立訓練,其參數和結構可能與教師模型完全不同,屬於一種優化方法,而非盜竊行為。就行業實踐而言,這是廣泛接受的技術手段,屬開源社區常規操作。事實上,許多開源模型明確允許蒸餾,甚至提供蒸餾工具鏈。OpenAI的GPT-3曾被第三方通過API輸出而蒸餾出小型模型(如美國科企Hugging Face的社區項目),這些案例均未被認定為「盜竊」,而是技術創新體現。