在現代科技迅猛發展的時代，我們見證了語言模型在各種應用中的卓越表現。然而，手語這一重要的溝通工具在數據科學領域的研究卻相對較少。鑒於全球有數百萬的聾啞人士依賴手語進行日常交流，如何利用人工智慧技術提升手語的生成和翻譯成為了一個亟需解決的問題。本文介紹了一項突破性的研究工作，提出了首個全面的多語言手語資料集——Prompt2Sign，並基於此資料集開發了首個多語言手語生成模型——SignLLM。
SignLLM模型不僅能夠從文本或提示生成精確的手語手勢，還能支持美國手語（ASL）以及德國手語、瑞士德國手語、瑞士法國手語、瑞士義大利手語、阿根廷手語、韓國手語和土耳其手語等八種手語。這一創新模型結合了基於強化學習的損失函數和模塊設計，顯著加速了模型的訓練過程，並在多語言手語生成任務中達到了最先進的性能。
在這篇文章中，我們將深入探討Prompt2Sign資料集的構建過程及其獨特性，並詳細介紹SignLLM模型的設計原理和技術創新。我們相信，這項研究不僅為手語生成和翻譯技術帶來了新的突破，也為未來的多語言手語研究奠定了堅實的基礎。讓我們一同走進這個充滿潛力和希望的領域，探索手語生成的新紀元。
手語模型的建立與其他語言模型的不同之處
SignLLM模型的建立方式與其他語言模型有幾個顯著的不同之處：
- 多語言支持：SignLLM引入了兩種多語言手語生成模式——多語言切換框架（MLSF）和Prompt2LangGloss。這兩種模式利用多語言Prompt2Sign資料集，使模型能夠進行多語言手語生成。
- 強化學習模塊：SignLLM採用了基於強化學習的新損失函數和模塊，這些功能旨在通過提升模型自主採樣高質量數據的能力來加速訓練。這與傳統的語言模型不同，後者通常依賴於標準的監督學習方法。
- 文本到手語轉換的改進：傳統的手語生成管道包括文本到手語詞彙（gloss）的轉換，然後將手語詞彙映射到動作姿勢，再生成手語視頻。SignLLM主要修改了前兩個步驟，即Text2Gloss和Gloss2Pose，將這些步驟視為序列到序列的問題來處理。
- 多語言切換框架（MLSF）：這個框架可以理解為多個平行的Text2Pose通道，每個語言都有一個獨立的編碼器-解碼器，允許每個通道獨立訓練和推理。這種結構提升了模型的靈活性和可擴展性。
- Prompt2LangGloss模式：這種模式在傳統的Text2Gloss和Gloss2Pose模型基礎上，增加了語言標記，旨在提升模型對複雜輸入的理解能力，例如提示詞的使用。
SignLLM模型的創新之處在於其多語言支持和強化學習的應用，使其能夠更有效地處理大規模、多語言的手語數據，並且在多語言手語生成任務中達到了最先進的性能。
未來應用
SignLLM模型的未來應用潛力巨大，特別是在以下幾個方面：
- 手語翻譯： SignLLM可用於即時手語翻譯，幫助聽障人士更方便地與他人交流。例如，這個模型可以集成到手機應用或其他智能設備中，實現實時的語音到手語翻譯，讓聽障人士能夠在各種場景下更輕鬆地溝通。
- 教育資源： 這個模型可以用來製作多語言的手語教育視頻，幫助聽障學生更有效地學習新知識。教育機構可以利用SignLLM來創建符合課程需求的手語教材，提升手語教育的質量和覆蓋面。
- 虛擬助手與聊天機器人： SignLLM可以應用於開發支持手語的虛擬助手和聊天機器人，這些助手能夠用手語與用戶互動，提供如信息查詢、指導等服務，改善聽障人士的數字生活體驗。
- 手語視頻生成與字幕： 傳統的手語視頻製作成本高昂且耗時，而SignLLM可以大大降低這一成本。媒體公司可以利用這個模型生成帶有手語翻譯的視頻內容，或者為現有的視頻添加手語字幕，從而提高內容的可及性。
- 研究與開發： SignLLM提供了一個強大的工具和資料集，可用於手語語言學和計算語言學的研究。研究人員可以利用這個模型進行多語言手語生成和識別的實驗，進一步推動手語技術的發展。
SignLLM的多語言支持和強化學習能力，使其在上述各個領域中具有廣泛的應用潛力，並為聽障人士創造了更多的機會和便利。
Fang, S., Wang, L., Zheng, C., Tian, Y., & Chen, C. (2024). SignLLM: Sign Languages Production Large Language Models. arXiv preprint arXiv:2405.10718. https://doi.org/10.48550/arXiv.2405.10718