
(香港文匯報記者 楊盈盈)手語是聽障人士溝通的重要工具,但要與非手語使用者交流往往要依賴手語翻譯,惟本港相關服務嚴重不足,平均每3,000名聾啞人士只有一名手語翻譯員。香港科技大學3位計算機工程學系畢業生開發了應用程式「HandsTalk」手語通,採用生成式人工智能(AI)以進行整句手語翻譯,並引入選字功能提高翻譯準確度,令交流更為流暢,有望幫助聽障人士應對日常以至醫療緊急情況,促進社會共融,有關項目早前成功在「2024香港資訊及通訊科技獎」中獲得學生創新(大專及高等教育)銀獎。
Handstalk團隊成員李焯森與香港文匯報分享,聽障人士最需要手語翻譯員通常是在醫療方面,「例如凌晨看急症,不可能即時找到翻譯員,情況緊急更不能等有人翻譯才看醫生。」此外,日常生活像是處理銀行手續、去警署報案、去政府部門申請文件等,都需要有手語翻譯,團隊希望能透過科技發明應對社會需求。

新增選詞功能 提高準確性
手語需要同時配合手形、位置、方向、口形、表情等表達,李焯森說,研發過程中最大挑戰是供AI系統訓練的手語圖像數據的不足,加上手語中不少手勢因相似較難辨識,影響翻譯成效,為此團隊引入選詞功能,讓用戶在做手語姿勢後確認,從而提高翻譯的準確性。
有望建本港手語數據庫
另外,Handstalk又引入整句翻譯的功能,透過生成式AI將手語翻譯的詞語組合成完整句子,讓雙方交流更流暢,他解釋:「例如要表達『我們去打籃球』,手語使用者可能只做了『我們』、『籃球』手勢,AI系統能自動將零散詞語組成完整句子,讓非手語使用者能更清晰明白及理解。」
李焯森表示,手語因地域關係致詞彙有所不同,要建立屬於香港本土的手語數據庫還需要一定時間。團隊導師、科大計算機工程學系助理教授梁煒霆指,期望可透過不同NGO跟聽障人士合作,收集更多本地手語數據優化系統。此外,團隊亦正申請一些創科基金希望推廣Handstalk於醫院應用,在減少醫生與手語使用者溝通障礙的同時,亦透過用家評分提高成效。
坊間有意見認為,聽障人士可使用文字溝通,對於手語翻譯應用程式的需求存疑。李焯森直言,參賽期間評判亦有提出類似質疑,但自己並不認同,一方面由於手語是聽障人士的母語,可以更準確表達他們的意思,另一方面更應該保障聽障人士使用手語的權利,以科技彌補翻譯員不足的問題,減少與非手語使用者間的溝通障礙,真正邁向共融。
他分享說,在測試時不少聽障人士都形容,HandsTalk是一個有溫度的工具,讓他們覺得自己好像能跟普通人一樣與其他人進行溝通。他相信Handstalk可降低學習手語的門檻,促進更多人與聽障人士交流。


