這份文件[1]探討了 LLM 驅動的聊天機器人 ChatGPT 是否高度模仿人類的語言處理能力。文中提到 ChatGPT 被測試了12項心理語言學實驗，該實驗旨在確定 ChatGPT 是否與人類在語言理解和產出方面具有相似的模式。ChatGPT 在其中10個實驗中複製了人類的語言使用模式，但在其他方面沒有與人類表現一致。研究發現 LLM 和聊天機器人能夠模仿人類的語言處理，從而提供對人們如何學習和使用語言的潛在洞見。
這份文件探討LLM驅動的聊天機器人（例如ChatGPT）是否在很大程度上模仿人類的語言處理(p.1)。ChatGPT經過了12個心理語言學實驗的考驗，這些實驗旨在確定ChatGPT在語言理解和產出方面與人類共享的模式程度(p.3)。在12個實驗中，ChatGPT在10個實驗中複製了人類在語言使用方面的模式，例如繼續訪問含糊詞的最近遇到的含義，根據動詞語義把因果關係與不同的篇章實體聯繫起來(p.4)。然而，ChatGPT沒有傾向使用較短的詞來傳達較少信息的內容，也沒有使用上下文來消歧義詞法的含糊(p.4)。研究結果顯示，LLM和聊天機器人有能力模仿人類的語言處理，這提供了對人們學習和使用語言的潛在見解(p.1)。
所有12個心理語言學實驗是：
- 出現聲音形狀聯想 (ChatGPT Jan 9 version)
- 出現聲音性別聯想 (ChatGPT Feb 13 version)
- 詞長度和可預測性 (ChatGPT Dec 15 version)
- 詞義引導 (ChatGPT Jan 9 version)
- 句法引導 (ChatGPT Jan 30 version and Feb 13 version)
- 句法歧義消解 (ChatGPT Jan 9 version)
- 無法解釋的句子理解 (ChatGPT Dec 15 version)
- 語義騙局理解 (ChatGPT Jan 9 version)
- 隱含因果性 (ChatGPT Jan 30 version and Feb 13 version)
- 推論 (ChatGPT Jan 9 version)
- 對話者的詞義訪問 (ChatGPT Dec 15 version)
- 詞匯檢索 (ChatGPT Dec 15 version)
ChatGPT和人類不同的部分有兩個。首先，與人類不同的是，ChatGPT在傳達不那麼具體的信息時不傾向於使用較短的單詞(p.2, 17)。其次，當處理句法上的歧義時，ChatGPT不像人類那樣使用上下文來解決(p.2, 17)。值得一提的是，ChatGPT在大多數語言處理方面都模仿了人類(p.2, 17)。此外，ChatGPT還能通過聲音來推斷性別和單詞含義(p.17, 18)。這些發現表明LLMs和chatbots能夠模仿人類語言處理，並提供人們了解語言學習和使用的新思路。
文中提到，LLMs已被顯示可以大幅度修改詞的語義表示以適應上下文(p.18)。此特徵可能解釋了ChatGPT易受語義假象影響的人類行為(p.18)例如當被問到”Moses在方舟上帶了多少隻動物？”時回答”兩隻”(p.18)。此外，文中亦提到ChatGPT對於語法錯誤表現寬容，例如在句子”The mother gave the candle the daughter”中將”the daughter”解讀為”收件人”而非”物品”(p.18)。此可能是由於ChatGPT的訓練數據中存在該假設結構的句子(p.18)。
這個文章提供了有關 LLM 驅動聊天機器人（如ChatGPT）是否能夠模仿人類語言處理的相關信息(p.2)。文章使用了12個心理語言學實驗，以探測ChatGPT如何處理語言。在10個實驗中，ChatGPT複製了人類語言使用的模式，例如：根據詞語的語義來區分陌生詞語的不同意思，繼續訪問最近遇到的有歧義的詞語的意思，關聯因果與不同的文本要素，並根據對話者的身份訪問不同的意思和取回不同的單詞(p.2)。但是，它並不偏好在表達不太具有信息含量的內容時使用較短的單詞，也不能使用上下文來消除句法上的歧義(p.2)。文章還說明了LLM-driven聊天機器人，例如ChatGPT，在語言處理上具有模仿人類語言處理的能力，從而為我們了解人們如何學習和使用語言提供了潛在的洞見(p.2)。