【都大探索】手機鏡頭裝「AI大腦」 看得見更看得清


  晚上在維港旁舉起手機,肉眼明明看得見璀璨燈火和朋友的笑臉,但按下快門後,照片卻可能是另一回事:天空一片泛白,人臉暗淡無光,遠處招牌的文字糊成色塊,稍有移動的人更留下殘影。

  手機機身纖薄,鏡頭和感光元件的尺寸有限;然而,近年的拍攝效果已愈來愈接近專業相機。箇中關鍵不僅在於更多鏡片和更高像素,更在於按下快門後一瞬間完成的大量精密運算。

  這就是「計算攝影」。如果把鏡頭和感光元件比作眼睛,影像處理晶片和演算法便像大腦。眼睛負責接收光線,大腦則判斷哪些是細節、哪些是雜訊,並把不完整的訊號組合成我們看到的照片。因此,計算攝影並非拍照後才加上濾鏡,而是在曝光、對焦、色彩還原、降噪和細節重建等環節,直接參與影像的生成。

  感光元件取得的原始數據,其實像一幅尚未完成的拼圖。每個像素通常只記錄部分顏色;光線不足時,訊號還會混入電子雜訊。演算法必須推算出缺少的顏色、減少雜點,再還原成完整影像。這也說明為何像素數目只是畫質的起點:即使像素再多,如果每個像素收到的光線不足,照片依然可能偏暗,並布滿顆粒狀雜訊。

  夜景模式則像找來多位目擊者互相校對細節。手機在快門前後連續取得多幀影像,先估計手震和物體移動的幅度,再將相同位置的畫面對齊。每一幀的隨機雜訊不同,真正的景物卻大致一致;將多張影像疊合後,可信的細節會得以保留,雜訊則被抵消。

  如此一來,手機無須拉長曝光時間,也能在亮度、去除雜訊與動態清晰度之間取得平衡。

  遇上「背光」則是另一道難題:「顧得了天空,就顧不了人臉。」現實世界最亮和最暗位置的差距,往往超出普通感光元件單次曝光所能記錄的範圍。傳統高動態範圍(HDR)攝影會融合不同曝光的照片,但人物一旦移動,便容易產生錯位和「鬼影」。

  香港都會大學科技學院團隊參與的一項研究,嘗試把普通低動態範圍影像與「事件相機」(event cameras)結合。研究團隊再利用人工智能(AI)從擴散模型所學到的影像先驗,重建過曝和曝光不足的區域,同時設法減少細節失真。簡單來說,就是讓普通相機提供顏色和整體畫面,事件訊號則補充快速且高動態的光線變化,讓兩種「眼睛」取長補短。

  當我們在手機上放大遠處景物,有限的像素也會隨之放大,頭髮、窗框和文字很容易變成模糊色塊。超解像與影像復原演算法,便是利用多幀之間的微小差異,或從大量自然影像中學到的規律,推算出較合理的細節。這種能力正逐步從手機後端的軟件,走進感光元件本身。

  某大型科技品牌於2025年公布的嶄新手機影像傳感器LYTIA 901,便是一個AI與感光元件融合的業界實例。它擁有約兩億有效像素,採用嶄新Quad-Quad Bayer Coding排列,把16個相鄰同色像素組成一組。一般拍攝時,可合併它們的訊號以提高暗光靈敏度;變焦時,則透過「重馬賽克」技術把資料轉回高解像排列。

  由於這項轉換需要複雜運算,該品牌把AI學習式重馬賽克處理電路直接置於傳感器內,以改善細小圖案和文字的重現效果。重點不只是「兩億像素」,而是取像與AI已開始在硬件層面協同工作。

  另一項由都大參與、刊載於《ACM Transactions on Graphics》的HYPIR圖像修復框架研究,則探索如何更有效地復原低解像和受損影像。它利用預訓練擴散模型掌握的自然影像規律,再以對抗式訓練建立只需一次前向處理的復原方法,在清晰度、真實感和運算速度之間尋找平衡。這正是筆者目前在都大研究的方向之一:如何把計算攝影、計算成像與生成式AI結合,讓演算法不只「修得漂亮」,也盡量忠於原始影像。

  清晰不等於憑空想像

  AI始終不是魔法。如果鏡頭根本沒有記錄到某項資訊,演算法只能作出推測;若處理過度,便可能生成不存在的紋理、錯誤文字,甚至一張看似清晰卻與現實相去甚遠的人臉。

  未來手機攝影的競爭,因而不再只是鏡頭數目或像素高低,而是光學、感光元件、運算晶片與AI能否協同設計。唯有「眼睛」和「大腦」彼此配合,手機才能不只看得見黑暗與遠方,也看得更清、更接近真實。

  計算攝影的真正價值,不只是把照片推亮、變銳利,而是讓一部掌心大小的手機,在有限鏡頭和有限光線下,把原本「看得見」的景物,轉化為可以「看得清」的紀錄。

  ●任思捷博士 香港都會大學科技學院助理教授