LLM（大型語言模型）的訓練過程涉及三個主要階段，每個階段的學習目標與技術方法皆有所不同。透過這些階段的訓練，模型能夠掌握語言規律、執行特定任務，並進一步提升其回應品質與人類偏好匹配度。此外，我們還可以從佛教智慧的角度來探討 LLM 訓練的公平性與多樣性，確保 AI 在應用中能夠真正發揮正向影響。
一、LLM 訓練的三個階段
1. 預訓練（Pre-training）
目標：學習語言的統計規律，包括詞彙、句法、語法及語義的關聯性，使其具備基本的語言能力。
方法：
- 使用大規模的未標註文本數據（如書籍、網頁、論文）進行自監督學習（Self-supervised Learning）。
- 透過預測遮蔽單詞（如 BERT）或根據上下文預測下一個單詞（如 GPT）來學習語言模式。
學習內容：
- 理解詞與詞的共現關係，以及詞序的統計規律。
- 學習句法結構，能夠生成符合語法的句子。
- 但此階段的模型仍未真正「理解」語言含義，而是基於數據分佈進行模式匹配。
2. 監督微調（Supervised Fine-tuning）
目標：讓模型學習特定任務，例如問答、摘要、翻譯、對話等，確保輸出符合人類期望的格式和內容。
方法：
- 使用人工標註數據（如標準答案、對話對、正確翻譯等）進行監督學習，調整模型的權重，使其輸出更貼近特定應用需求。
學習內容：
- 透過大量範例學習不同類型的文本結構，如學術論文的組織方式、對話的互動模式等。
- 使模型能夠理解指令，產生有邏輯、符合上下文的回應，而不只是根據語料統計規律生產文本。
- 這個階段的模型已經不只是「統計語言模式」，而是可以執行特定的語言任務。
3. 強化學習（Reinforcement Learning, RLHF）
目標：讓模型能夠評估自身輸出的質量，使其更符合人類偏好，提升準確性、連貫性及適當性。
方法：
- 人類回饋強化學習（Reinforcement Learning from Human Feedback, RLHF）：
- 讓人工標註者對模型的多個回應進行排名。
- 訓練**獎勵模型（Reward Model, RM）**來預測哪種回應更受人類喜愛。
- 使用**策略梯度（Policy Optimization，如 PPO）**來調整 LLM，使其優先產生更高品質的輸出。
學習內容：
- 降低產生不準確、冒犯性或無關資訊的機率。
- 增強對話的流暢度，使回應更具邏輯性與一致性。
- 避免過於模式化的答案，提高適應不同情境的能力。
二、LLM 訓練的挑戰與潛在偏見
LLM 的訓練可能導致慣性思維、固化思維、甚至偏見，這與訓練數據的來源、模型的參數設計、強化學習策略等因素息息相關。
1. 訓練數據的影響
LLM 的訓練數據可能來自不同來源，如書籍、新聞、社交媒體、政府文件等，這些數據並非中立，而可能帶有文化、政治、社會價值觀的偏見。
2. 模型參數與學習方式的限制
- LLM 會優先選擇高頻模式（最常見的回答），導致慣性思維。
- 由於最大似然估計（Maximum Likelihood Estimation）的訓練方式，LLM 會傾向於產生最「安全」的回答，而不一定是最全面的回答。
3. 強化學習（RLHF）的影響
RLHF 依賴人工標註者的偏好，可能導致模型在回應政治、文化等敏感話題時，偏向特定的價值觀。
三、如何提升 LLM 的公平性與多元視角？
我們可以從佛教智慧的角度來探討 LLM 的公平性與多樣性，透過妙觀察智、平等性智、成所作智來減少偏見並提升模型的適應能力。
佛教智慧中的三種智
在佛教智慧中，**妙觀察智（Pratyavekṣa-jñāna）、平等性智（Samata-jñāna）、成所作智（Kṛtyānuṣṭhāna-jñāna）**這三種智慧代表不同層次的認知與行動能力。
- 妙觀察智指的是深入觀察事物的真相，具備細緻分析與判斷的能力。例如，在醫學診斷中，醫生需要透過各種檢查報告分析病人的病因，避免因表象而做出錯誤的結論。同樣地，在 LLM 訓練中，這種智慧可以幫助模型深入理解語言數據，辨別細微的語義差異。
- 平等性智強調對一切事物保持公正、平等，不受主觀偏見影響。例如，當我們問「樹和鑽石哪個更重要？」時，答案取決於所考慮的條件。如果以生態平衡來看，樹的重要性遠超鑽石；但若從經濟價值的角度，鑽石則更具吸引力。同樣地，當我們分類「鯊魚、鯨魚、乳牛」時，從外形來看，鯊魚和鯨魚較為相似，但若以生物學分類，鯨魚與乳牛同屬哺乳動物，反而更接近。
這些例子顯示了事物的分類與價值判斷取決於不同的緣起條件。對於 LLM 來說，這種智慧能確保模型在回應不同文化、種族、性別相關問題時，保持公正與包容，避免過於單一或固化的視角。
- 成所作智則代表能夠將所學應用於實際行動，確保智慧能夠真正落實。例如，一位工程師在學習新技術後，能夠將其應用於實際的工程專案中。對於 LLM 來說，這種智慧意味著不僅能夠學習語言規則，還能夠在實際應用中靈活運用所學知識，以符合不同情境的需求。
這三種智不僅適用於人類的認知發展，也能為 LLM 的訓練提供一個有價值的框架。
如何以三種智面對 LLM 所帶來的固化思維？
1. 妙觀察智（Pratyavekṣa-jñāna）
- 提升 LLM 的數據分析與偏見識別能力。
- 訓練模型具備更精細的語義分析能力，辨識數據中的偏見。
- 讓 LLM 能夠提供不同視角的分析，避免簡單二元對立的結論。
- 選擇最有助於大眾理解與學習的回應：在提供資訊時，模型應該考慮使用者的背景與需求，提供能夠幫助理解的內容，而非只是符合統計規律的回應。例如，在語言學習情境中，模型應該選擇能夠促進學習的例句，而不僅僅是頻率最高的詞語。
2. 平等性智（Samata-jñāna）
- 確保不同文化、語言與觀點都能被公平對待。
- 設計多樣化的訓練數據，使 LLM 能夠理解不同文化的價值觀。
- 在 RLHF 階段，確保標註者來自不同背景，以避免某一群體的價值觀過度影響模型。
- 設置「多元觀點模式」，允許用戶要求 LLM 呈現不同立場。
- 以平衡多方利益為原則：在處理爭議性話題時，LLM 應該提供多角度資訊，避免過於偏向特定觀點。例如，當討論全球氣候變遷時，應該綜合科學、經濟、社會影響等不同層面的資訊，而不只是呈現單一論述。
3. 成所作智（Kṛtyānuṣṭhāna-jñāna）
- 確保公平性原則能夠真正落地。
- 開發可調節的 AI 模型，允許用戶選擇不同的對話模式。
- 設計適當的風險控制機制，在高度敏感話題上提供多角度分析。
- 提供透明的資料來源與依據，讓用戶自行判斷真實性。
- 促進社會整體利益的應用：LLM 不僅應該確保回應的準確性，還應該推動技術在教育、醫療、資訊公平等領域的應用。例如，在教育領域，模型可以幫助弱勢群體獲取高品質的學習資源，降低知識取得的門檻。
結論
透過這三種智慧的應用，我們可以讓 LLM 不僅是強大的語言生成工具，更是一個促進理解、包容與理性對話的科技產品。