中大首推粵話動態評測平台
坊間目前雖有眾多大語言模型,不過模型對粵語的理解與生成能力仍未被充分評測,因此香港中文大學宣布推出全球首個專為粵語而設的動態評測平台及生態系統CLEVA-Cantonese,通過提供公平、持續演進、具參考價值的基準評估,揭示各類大語言模型對粵語的支援程度,並為研究人員及開發者提供具參考價值的分析,加速粵語大語言模型的優化及實際應用。
此項目由中大InnoHK博智感知交互研究中心與港中大語言與視覺實驗室合作研發,中大計算機科學與工程學系助理教授王歷偉表示,CLEVA致力應對粵語基準的特殊挑戰,例如具備評測粵語白話文的能力,即日常口語的書面形式,捕捉其獨特的語言特徵,包括口語用法與俚語、與英語及普通話的語碼轉換,以及粵語拼音。此外,它亦支援可擴展且即時的評估方式,配合模型的快速迭代周期,進行提示和多重指標評估。
有份領導項目的博智感知交互研究中心主任蒙美玲指出,團隊將持續拓展數據合作夥伴,建立開放評估平台供研究人員、開發者及機構使用,並進一步擴展系統的語言、任務及口語粵語支援;亦會提供共享工具,促進語言學、教育等領域的協作研究。