為提升資訊平權,讓聽障朋友也能即時掌握重要氣象資訊,工研院攜手台灣公廣集團合作,打造全台首創「AI(人工智慧)虛擬手語氣象主播」!雙方於今(9)日舉辦「AI手語‧幸福台灣」記者會,宣布在簽約完成階段性任務後,打造具備公視、華視、客家電視、公視台語台與原視台等不同特色的AI虛擬手語氣象主播,預計最快明年下半年將正式上線,未來期待能將AI手語能應用在防災、救難等公共傳播領域。
|
工研院利用人工智慧,將文字轉手語影音。氣象口播稿可立即轉換為手語專用的手播稿,再生成「AI虛擬手語主播」,協助聾人獲得平等的資訊權利。 |
觀察現今聽覺機能障礙者與手語翻譯員,供需之間存在一定的差距。根據衛生福利部統計處資料顯示,截至2024年Q2聽覺機能障礙者為136,355人;惟依勞動部統計,截至2024年10月,全台手語翻譯員僅有616人。希望透過「AI虛擬手語氣象主播」不僅填補手語翻譯人力的缺口,也能讓聾人透過大眾媒體獲得平等的資訊權利。
工研院董事長吳政忠便指出:「科技始終來自於人性」,可以利用AI科技幫到需要幫助的人。今天雙方合作,即是發展「普惠科技」的一大重要案例。讓普羅大眾都有平等機會能運用AI科技,不僅提升氣象資訊的普及性,更為聽障者帶來可即時掌握天災等警訊的全新解決方案;進而攜手推動台灣手語資料庫建置與AI應用計畫,為資訊無障礙推動跨出重要一步,展現公益科技的實踐力。
公廣集團董事長胡元輝進一步表示,公視長期製作身障相關節目《手語新聞》與《聽聽看》等,也一直秉持「希望明天比今天更好」的想法。隨著AI科技演進,公廣集團積極思考運用科技的力量,為聽障朋友打造更友善的媒體環境。他說,「資訊平權是現代社會的重要價值」,也期望透過傳播科技,輔助聽障人士在面對緊急狀況,例如颱風、地震等天災時能夠即時掌握最新消息。
王曉書舉例:「政府發布的細胞廣播簡訊若以AI手語產出,將對聾人會更方便」。牛暄文則期待AI手語能應用於日常生活各領域,「例如醫療、交通、社福等,以及24小時的AI新聞資訊服務,希望能配合區域習慣調整手語,甚至建立類似GPT問答模式,讓聾人可以用自己的母語尋求幫助」。王曉書也希望AI手語將來可應用在手機上,讓聾人隨時掌握訊息。牛暄文則希望AI手語可以應用於科技眼鏡等穿戴裝置,「將語音轉換成手語,或辨識手語並轉換成語音,讓聽、聾人溝通順暢」。
工研院副總暨資訊與通訊研究所所長丁邦安進一步指出,工研院技術團隊自2023年開始研發AI手語翻譯員,打造台灣手語資料庫。強調其有別於現行一般AI主播技術,主要處理語音生成、對嘴同步相對單純。手語則是一種視覺語言,具有表達的複雜性,須要透過手勢位置、面部表情來傳達意思。
因此,他認為手部動作的精確極為重要,既須要高精度的骨架估算技術與深度學習手勢生成模型;加上手語發展會受到當地口語影響,還將透過專業的手語翻譯員及聽障者共同建立語料庫。所以此次雙方合作不僅提升資訊平權,也可藉傳承台灣手語,保存重要文化資產。
這次由工研院與公視攜手合作,結合工研院先進的AI技術和公廣集團的媒體資源,不斷累積《手語新聞》所產出的辭庫與資訊,透過與專業手語主播合作建置的氣象手語語料庫,再結合AI骨架生成技術和深度學習模型,開發出能將氣象資訊即時轉換為手語的AI虛擬主播,以流暢的手語動作與表情即時播報氣象。
同時且擷取影片中的骨架,包含手語的臉部表情跟手指關節,王曉書邊說邊比手語說:「像是台灣的手語,小指頭捕捉到就要留意。」勢將骨架套上不同的外表,生成虛擬主播外,還要讓手語動作連接起來很流暢。每一關都不容易」。公視進一步表示,如今建置台灣氣象手語資料庫和AI應用只是起步,聾人同胞也期待在醫療、交通、社會福利等領域應用,得到24小時不間斷的AI新聞資訊服務;將來也會透過媒體力量和工研院團隊,持續善用AI科技,進一步造福各界聽障人士。