Category: 學術與投稿

語言教學的新視野：手勢作為視覺動作訊號的多模態語言習得可能性

多模態語言習得(Multimodal language acquisition)是指在學習語言時，不僅僅使用言語信息，還結合了多種感官方式，特別是視覺和動作。 多模態語言習得 使用多感官方式來學習語言可以加深印象、減輕負擔，並提高學習效果。多模態語言習得更貼近人類交流方式，也為語言教育帶來新思路。 手勢在多模式語言習得中扮演重要角色 總之，手勢是多模態語言習得中的關鍵元素，可以有效輔助和強化語言學習。除了手勢，其他視覺動作訊號也有助於語言習得，例如面部表情、眼神接觸、點頭、身體動作、身體距離、肢體觸碰、嘴型、呼吸節奏和視線移動等。在語言教學中，可以根據情境和文化適當運用這些視覺動作訊號，以增強語言學習效果。 其他視覺動作訊號對語言習得的影響 因此，在語言教學中，不僅應用手勢，還應引導學習者感知和運用這些視覺動作訊號，以提高語言學習的效果。同時，應根據不同的情境和文化背景來適當運用這些視覺動作，以更好地促進語言習得。这些視覺動作訊號有助於使語言交流更加生動且有趣，同時也促進了多感官學習的效果，提高了學習的樂趣。 研究設計流程、分析、結果 這個研究 (Morett, L., Gibbs, R., & MacWhinney, B., 2012)是關於如何使用手勢來學習第二語言的，研究的步驟如下： 研究結果如下： 總結來說，這個研究發現觀看手勢並不會提高單字學習，但主動使用拍子和指示手勢對「老師」自己的學習有幫助。不同種類的手勢對學習有不同效果，這為手勢在語言學習中的角色提供了更多了解。 結論： 建議： Morett, L., Gibbs, R., & MacWhinney, B. (2012). The role of gesture in second language learning: Communication, acquisition, & retention. In Proceedings of the Annual Meeting of the Cognitive Science Society (Vol. […]

我讀《Cross-situational Learning of Foreign Vocabulary Reveals a Possible Noun Bias in Adulthood》

以以下三種學習情境進行教學來學習新詞：一、只有定義；二、以一個故事串連多個新詞；三、以多個故事串連多個新詞，實驗結果發現第三種學習情境下學生的詞彙能力表現最佳(Nitsch, 1977)。跨情境學習於是開始流傳。但是，仍有未被深掘的問題：一、跨情境學習的優勢和單一情境學習相比，優勢是否仍存在？二、跨情境的優勢，能否同樣被延續到名詞和動詞的學習？ 人們學習名詞的速度是比動詞更快，這個叫名詞偏好(noun bias)。在一語習得和雙語學習的情況下，在學習名詞新詞的時候都有壓倒性的勝利，但是對於成人學習外語是否也有名詞偏差尚不清楚。如果在句子中，將目標詞以beep聲取代，讓孩童和成人去猜這個地方應該填入什麼詞，名詞正確可能性也是大於動詞。然而，這些研究並沒有控制和測量名詞可以被想像的程度(imagability)。而動詞之所以更難被學習，主要是其和句法有關。 跨情境學習在2、3、4歲的幼童(Akhatar and Montague, 1999)和12、14個月大的幼兒(Smith and Yu, 2008)身上都可以發現。從認知的觀點來看，由於跨情境學習有較多的線索以及足以供抽樣的資訊，因此增加學習者喚起目標物的可能性。最主要的是，跨情境學習有助於降低不確定性。從理論和研究結果來看，跨情境學習理該會優於單一情境學習。 於此，Ludington(2013)讓受試者看一個人物(名詞)進行一個動作(動詞)的圖片，並搭配希伯來語的句子，使用的希伯來語的句子的句法結構都是先名詞再動詞。跨情境學習會看到兩張不一樣的圖片和聽到兩個希伯來語的句子，單一情境學習則只有一樣的圖片和一樣的希伯來語句子重覆兩次。  他的有以下假設。 假設一：跨情境學習會優單一情境學習。理由有四：單一情境學習解決句法的機會較少；單一情境要正確斷詞的難度提高；過往的研究支持跨情境學習；跨情境學習增加確定性可以促進學習。  假設二：不存在名詞偏好。理由是名詞和動詞的差別來自於可想像的程度、熟悉度(familiarity)和頻率(frequency)(Ludington, in press)。 假設三：跨情境學習/單一情境學習和名詞/動詞會存在交互作用。理由是，名詞和動詞相比，不確定性比較低(Ludington, in press)，而跨情境學習可以減少不確定性，所以可能存在交互作用。 總共學習24個希伯來語新詞，包括12個名詞和12個動詞。以單一個新詞看，由兩張圖片(國王皺眉、國王打字；外星人打字、國王打字)成為一個跨情境學習，單一情境學習則以同一張圖片呈現兩次。所有圖片分為兩組，先出現的為F組，後出現的標記為S組。每個嘗試次包含一張圖片和一個由希伯來母語者說出來包含名詞+動詞的句子。24個新詞分配在6個區塊，每個區塊有4個新詞，每個新詞以兩個嘗試次出現，每個區塊裡有八個嘗試次。 學習階段：跨情境學習/單一情境學習採受試者間設計，名詞和動詞採受試者內設計。跨情境學習組再分AB兩組。跨情境學習的AB兩組學習和單一情境學習組的12個名詞和12個動詞是一樣的，但是訓練的圖片組合不一樣。上圖的上半部為跨情境A組，下半部為跨情境B組。單一情境學習組的則如下組。 測驗階段：學習階段後進行測驗。學習和測驗間，以30秒的小任務作為銜接，目標在於消除短期記憶效果，避免天花板效應。測驗形式為聽到包含有名詞和動詞的目標句子，並從四個圖片中進行選擇。 離開前，會將受試者未在實驗裡看過的圖片，以兩個或以上的詞去描述一個角色在做一個動作的圖片。 結果分析顯示跨情境學習優於單一情境學習。名詞偏好仍然存在，未因為跨情境優勢而消失。另外發現，在分析的模型裡，描述圖片的一致性可以用來預測正確率。

我讀《Infants rapidly learn word-referent mappings via cross-situational statistics》(Smith and Yu, 2008)

單單靠新詞和情境連結無法決定這個新詞的意義。當聽到「Gavagai」的時候，這個詞在有兔子跳過的情境被接觸，該詞可能指的是兔子、草、樹、兔子的耳朵或這整個情況。早期利用規限(constraints)來解釋學習者在遇到新詞的當下如何化解新詞的不確定性。 只靠一次的接觸化解新詞的不確定性，而決定詞的意義，也許不是學習新詞唯一的機制。主要有兩個理由：首先，日常生活中，新詞和可能的指涉物的對應太多。就算接觸了新詞，也不是當下就可以決定新詞的意義。很大的可能性是，在有高度不確定性的情境下，學習者會先忽略當下的資訊，並等待下一次再一次接觸新詞(Brent & Siskind, 2001)。其次，有許多研究指出9個月、10個月和12個月大的嬰兒就已經累積了可觀的詞彙知識。從發展的時間點來看，有18個月大的嬰兒存在解決新詞不確定的困難，也有有些研究指出在最小在13、14個月大的嬰兒身上，可以在只有一個新詞和一個詞的意義下的情況下學到新詞，但是這個學習的成果是很容易消失。這些證據足夠讓我們相信，學習新詞除了在當下解決詞的意義外，應該還有其它可能性。 Smith 和 Yu 的研究指出在帶有不確定的情況下，12個月和14個月大的幼兒可以藉由「統計學習」解決多次的接觸下和個別接觸時的不確定性。 下面的圖和影片說明了為什麼「統計學習」可能是解決詞的意義不確定性的現象。 但是，如果考量複雜一點的情況，如果下面表格所描述的情況。在第一個嘗試次的時候，A有可能被錯誤的和b連結。但是到了第四個嘗試次的時候，一但學習者基於以下條件：有A卻沒有b；前面學過AB和ba；同時出現和沒同時出現的是誰；計算的結果和統計的結果要一致，那麼第一次的錯誤連結就可以被改正。 Trial Words Potential referents in scene 1 AB ba 2 CD dc 3 EF ef 4 GA ga 12到14個月大的幼兒參加研究，共有六個目標新詞和六個目標物以圖表示。共有30個投影片，每張投影片裡有2個目標物，每次投影片出現4秒，在500毫秒後兩個目標新詞播放，兩個新詞間間隔500毫秒。目標物的位置和和目標新詞的順序並沒有任何關係。每一組目標新詞和目標物正確配對出現的次數各有十次。三十個投影片是隨機出現。另外，在正式的30張投影片之前，有4張訓練用的投影片，內容是芝麻街的動畫用來吸引受試者。過程間，仍會間隔2到4張的投影片間以此方式維持受試者注意。整個訓練歷時不到四分鐘(30張訓練的投影片和19張芝麻街投影片)。 測驗階段共有12次，每次8秒。每次出現兩個物件(目標物和干擾物)，同時播放四次目標新詞。 訓練投影片有兩套，兩套投影片目標物出現的位置左右對調，目標新詞出現的順序隨機。測驗階段亦有目標物位置左右對調的兩套投影片，以及隨機順序的目標標新詞。受試者隨機分派到任一套訓練投影片和訓練階段。 另外，兩位對於實驗操弄不知情的編碼者觀看影片，記錄幼兒眼睛看的方向。 分析2(個年紀組)*2(目標物/干擾物)*6(個目標詞)*2(套測驗投影片)。結果發現，在測驗階段，受試者看目標物的時間長於看干擾物的時間。同時，目標詞和目標物/干擾物存在交互作用，顯示有些詞學得比較好。年紀組和目標物/干擾物也存在交互作用，14個月大的幼兒注視於目標物的時間更長。 測驗時注視目標物的時間更長，顯示幼兒在跨情境學習之後具有儲存過往資訊的能力。

跨情境學習(Cross-Situational Learning)

跨情境學習(Cross-Situational Learning)是藉由多次的接觸來學習詞語意義的方法，儘管每次接觸詞語的時候都可能保有對於詞語意義的不確定性。同一個詞語會在不同的情境下出現，而一個情境下又有多個可能的詞語候選。這是透過排除不可能的候選意義後，來最後留下可能性最大的意義。 但是上述的跨情境學習會現實世界中是行不通的。現實世界中，環境會傳遞情境的意義，因此可能的意義會受到環境影響；而且，同義詞和多義詞的情況，都會使詞語有超過一個以上的意義，沒有一個詞語的意義可以出現在所有接觸的情境裡。 跨情境學習要求在每次接觸的時候，都要有正確的詞語候選在情境裡，「最大的量」(接觸的次數)；同時間，學習者必須能使用過去的跨情境學習策略，藉由過往所取得的可能意義馬上運用到當下的情境，「最小的運用」(當下接觸時，運用過去接觸的經驗)。如果沒有達到最大的量或最小的運用，而是界於兩者之間時，總比不上單純的跨情境學習那麼強大。因此，最後還是由頻率決定學習的結果。 許多研究指出成人和幼兒在學習少量詞語的時候，都是可以有效地運用跨情境學習。跨情境學習的效果會受到情境裡頭候選意義的數量影響。當不確定性增加(候選意義的數量多)的時候，學習的表現也會變差。這也會改變學習者的跨情境學習的機制，使它轉向為一個更輕鬆、更細微, 而和頻率更為相關的過程。 當學習者面臨開放性的問題時，就容易產生比較輕鬆的版本的跨情境學習。這個困難之處在於，這個合理的不確定性應該怎麼拿捏。

多元的學習方式：布魯納(Jerome Bruner)的學習者模型們

「學習」不是只有一種樣貌。 Any model of learning is right or wrong for a given set of stipulated conditions, including the nature of the tasks one has in mind, the form of the intention one creates in the leaner, the generality or specificity of the learning to be accomplished, and the semiotics of the learning situation itself-what it […]

葛斯瑞(Edwin R. Guthrie)的一次學習(One-Shot Learning)

葛斯瑞(Edwin R. Guthrie)如此解釋「學習」： A combination of stimuli which has accompanied a movement will on its recurrence tend to be followed by the movement. 用白話文來解釋就是：當一個有機體(包括人和貓咪)在某個情境下做了某件事之後，當這個情境又再一次重覆的時候，他會傾向把一模一樣的事再做一次。「刺激」和「反應」的連結是第一次發生的情境下就達成；它不會弱化也不會因為練習而強化。一但刺激造成了反應，未來也會有相同的反應。簡言之，學習就在一次嘗試就會發生。 「學習」並不是「刺激」和「刺激」的連結，而且「刺激」和「反應」的連結。你在甲情境下做了乙，當你下一次又重回甲情境的時候，你也會做乙。為了學做乙，你不需要反覆地做，也不需要有任何增強。如果做乙就是為了回應甲，那乙和甲的連結強度在當下和未來是相當的。 葛斯瑞講一次學習用了「tend」這個詞，保留了「不確定性」。舉例來說，爸爸跟幼兒說「尿布」的時候，幼兒也跟著說出「尿布」。當下一次又有人說「尿布」的時候，幼兒還會說「尿布」嗎？答案是肯定的，幼兒的反應仍是說「尿布」。答案也可能是否定的，幼兒不說「尿布」，因為第二 次的「combination of stimuli」和第一次爸爸跟幼兒說「尿布」的時候不完全一樣。有很多東西可能不一樣，幼兒第二次沒有尿溼尿布、第二次是不同人講「尿布」、幼兒正在專心玩玩具…等等。 An act is learned in the singles occurrence, and the need for repetition comes from the need for executing the act in a variety of circumstances. […]

試題反應理論(Item Response Theory)中，需要看配適度(Fit)嗎？

從每個人在每個項目的實際得分(observed score)和該人該項目的預期得分(expected score)的差，除以變異數，可以得到這個資料點對模型的標準化的殘差(standardised residual)，把所有這些標準化的殘差平方後再求平均，就是未權重配適度均方(unweighted fit mean-squar)；若根據該資料點的變異數進行權重，則叫作權重配適度均方(weighted fit mean-square)。前者也叫outfit，因為它對極端值(outlier)相當敏感，如果高能力的人答錯簡單的題或低能力的人答對較難的題，則整個均方就會變大，資料和模型的配適就不好；後者又叫infit，因為其根據每個資料所能提供的資訊(information fit)進行權重，極端值的變異較小(例如：0.9*0.1或0.1*0.9，但中間的資訊較多(0.5*0.5)。我們可以使用R裡頭的TAM套件的msq.itemfit，去取得模型中每個項目的outfit和infit。把outfit的值畫出來的話，會如下圖： 在有800個來自常態分佈的樣本下裡的20個項目中，越接近1的項目，配適地越好，反之則越差。 隨著樣本數的增加或減少，在模擬的情況下，可以操控fit和1的距離。下面為樣本數為80和8000的情況。 如果看配適度t值的話，就沒有上面的問題。但是，在真實資料的情況下，又會遇到另一個問題，當樣本數越大，則越容易發現配適地不好的項目，越容易發現資料和模型之間存在差異。 我們可以這麼去理解配適度，它是一個項目和其餘項目總和的關係。從這個角度去理解配適度的話，其實「信度」或「鑑別度」已經提供我們足夠的資訊去決定一個項目的優劣了。如果我們以「配適度」去決定是否要採用某個項目，那反而會將具有鑑別度的項目剔除。當outfit離1很遠的時候，有兩種情況：一個是正方向的離1很遠，一個是負方向的離1很遠。正方向的離1很遠具有好的鑑別度，但我們可能因為判斷它的配適度不佳而刪除。倘若要從配適度去剔除不好的題目，就從outfit值最小的開始吧！

在項目反應理論(Item Response Theory)下，怎麼理解「難度」這個概念？三種取徑。

在項目反應理論(Item Response Theory)中，要描述一個項目的「難度」和古典測驗理論(classical test theory)有不一樣的方法。在古典測驗中，一個項目的「難度」被認為是參與答題者人中答對該項目的比率，越多人答對，難度越低。在項目反應理論中，我們可以從三個取逕來理解項目的難度。項目反應理論中的描述「難度」需要有兩個維度來定義，「樣本能力」和「答對機率」。在只有受試者只有1/0二元結果(答對或答錯)的情況下，以下圖為例，假設受試者的能力是0，則答對該項目的機率則為50%，則項目難度delta則為0。 同樣delta的概念，若在受試者的得分被評為三個等級，例如：0、1、2的時候，以下圖為例，黑色線(得0分的機率)和紅色線(得1分的機率)相交的地方，比50%小一點點的答對率；以及，紅色線(得1分的機率)和綠色線(得2分的機率)相交的地方，同樣比50%小一點點的答對率。前者往下延伸至x軸為delta1(難度為-0.5)，後者往下延伸至x軸為delta2(難度為0.5)。delta1和delta2兩個節點，可以把人分成得0分、得1分和得2分機率最高的範圍。 如果把答對的機率累積起來，以下圖為例，則從50%答對率水平延伸至與黑線(得1分或2分的累積機率)和綠線(得2分的累積機率)相交(紅線為得1分、2分和3分的累積機率)後再往x軸延伸取得gamma1(難度為-0.5)和gamma2(難度為0.5)。gamma1和gamma2兩個節點，同樣可以把人分成得0分、得1分和得2分機率最高的範圍。 又或者利用預期得分，從受試者的能力去推估期可能的得分(0到2之間)，當能力相同的時候，預期得分越高的項目，難度則越低；反之，難度則越高。或者，難度高的題目，給能力好和能力不好的兩個受試者去測試，能力好的受試者預期得分會高於能力不好的受試者。參考下圖：

在古典測驗理論(Classical Test Theory)中計算信度(reliability)

古典測驗理論(Classical Test Theory)中，存在一些假設：一、Observed Scored = True Score + (Measurement) ErrorX = T + E二、mean(X) = T三、Corr(E,T) = 0四、Corr(E1,E2) = 0五、Corr(E1,T2) = 0如果平行測驗的兩次所觀察到的分數滿足上述五個假設，則兩次的真實分數(True Score)相等，兩次的van(E)相等。van(E)為每一個題項(item)的變異數的總和。從古典測驗理論的假設下，可以延伸出以下：一、mean(E) = 0二、Var(X) = Var(T) + Var(E)三、[Corr(X,T)]squar = Var(T)/Var(X)四、Var(X) = Var(X’)(當兩者為平行測驗時)五、Corr(X,X’) = Var(T)/Var(X)(此用以計算單一測驗的信度) 計算單一測驗的信度，可利用Cronbach’s Alpha:Cronbach’s Alpha = (n/(n-1))*(Var(T)/Var(X))= (n/(n-1))*((Var(X) – Var(E))/Var(X))n/(n-1)用來校正，當n很大時，可忽略不計。 Cronbach’s Alpha作為信度係數，可以用測同一個構念的內部一致性(internal consistency)。若同一個構念中，含有多個子成分，各別子成分計算Cronbach’s Alpha，可討論各個子成分裡頭的內部一致性。然而，將以多個子成分組成的構念，再計算出一個屬於整體構念的Cronbach’s Alpha會很奇怪。[如果可以算一個Cronbach’s Alpha，為啥還要多個子成分的Cronbach’s Alpha？如果多個子成分才能組成一個構念，自然不存在內部一致性。]

使用R將預測變數的交互作用以圖形視覺化

當我們想要知道兩個變數之間是否存在交互作用時，可以使用下面函數產生視覺化的圖形加以輔助：interaction.plot(pred1, pred2, resp) pred1和pred2為要進行檢查的兩個變數，而resp則是反應變數。示例如下： interaction.plot(averagebyid$context, averagebyid$order, averagebyid$meanbyid) 從每個人的平均得分來看，在接觸1次的時候，高語境限制性和低語境限制性的得分並沒有太大的差異。 interaction.plot(averagebyword$context, averagebyword$order, averagebyword$meanbyword) 從每個字的平均得分來看，接觸1次、2次和3次新詞的在語境限制性的差異不大。 interaction.plot(averagebyid$order, averagebyid$context, averagebyid$meanbyid) 從每個人平均得分來看，接觸1次時，高語境限制性和低語境限制性的得分並沒有太大的差異。 interaction.plot(averagebyword$order, averagebyword$context, averagebyword$meanbyword) 從每個字平均得分來看，接觸1次時，高語境限制性和低語境限制性的得分並沒有太大的差異。 但是這些圖形只是暗示我們進一步檢定的話，可能存在交互作用。我們後續仍需要進刪統計檢定才可以驗證其顯著性。