社交互動，是人類作為社會性動物所必須進行的行為活動。
在你來我往的互動中，我們會有怎樣的行為表現(xiàn)？

現(xiàn)在，您可以回想一段與他人互動的經(jīng)歷并思考以下問題：

當您與他人互動時，會下意識地模仿對方的行為嗎？
當您希望互動更加順暢時，會不會隨對方的點頭動作而點點頭？
當您與他相談甚歡，對他抱有好感與信任時，會不會隨他一起微笑？


其實，在社會交往中人們經(jīng)常無意識地模仿對方的行為以增進互動，這可能發(fā)生在運動層面(如微笑或頭部運動)，也可能發(fā)生在自主神經(jīng)層面(如瞳孔擴散)。而隨著虛擬與現(xiàn)實的邊界逐漸模糊，我們的社交對象也發(fā)生著變化。與虛擬人物的一場社交互動，就悄然在生活的各個場景中進行。

那么，當我們的互動對象是一個虛擬人物時，這些模仿行為還會發(fā)生嗎？對于這種虛擬社交，“社恐"們會有不同的行為表現(xiàn)嗎？

來自于《International Journal of Human Computer Studies》的最新研究，或許能給您帶來一些答案與思考。研究旨在探討人與虛擬人的社交互動中模仿行為表現(xiàn)，研究團隊通過讓人與虛擬人互動，探索模仿行為、人際感知和社交焦慮水平之間的關系，使用多模態(tài)實驗研究，探究了人們模仿虛擬人行為的程度，模仿是否有利于互動，以及模仿是否受到社交焦慮水平的影響(Fasya et al.,2024)。


“學人",是為了更好地互動
在社會交往中，人類通過語言和非語言來交流信息。非語言指通過面部表情和肢體語言來分享意圖和情緒，或以生理喚醒表現(xiàn)。通常情況下，情緒表達會被觀察者無意識地模仿，這同樣可能發(fā)生在不同層面，如運動層面(如微笑或頭部運動)或自主神經(jīng)層面(如瞳孔擴散)。人體姿勢或面部表情的模仿是由運動肌肉控制的，而生理喚醒的模仿是由自主神經(jīng)系統(tǒng)（ANS）控制的。


根據(jù)情緒感染的神經(jīng)認知模型(Prochazcova and Kret, 2017)，模仿始于一個人在社會互動中表達的情緒被互動對象感知，觸發(fā)了互動對象自己的情緒表達，從而導致運動層面(如微笑或頭部運動)或自主神經(jīng)層面（如瞳孔擴張）的模仿。由于自主神經(jīng)層面的模仿是由ANS調(diào)節(jié)的，所以與運動層面的模仿相比，其控制難度要大得多。因此，它可以提供更多關于被模仿情緒的感知強度或真實性的信息。

事實證明，在社會互動中，模仿通常與喜歡和信任的增加有關，而且往往會使互動者之間的關系更加融洽，與信任增加等親社會行為有關 (Kret et al, 2015)。


人類與虛擬人互動，也會互相模仿嗎？
在模仿行為的研究中，對情緒表情的模仿的通常使用照片、視頻，或直接與真實的人類進行現(xiàn)場互動，創(chuàng)建二元互動的場景。而在某種程度上，感知他人的情緒并對其做出反應可以獨立于互動環(huán)境而發(fā)生。雖然研究真實的二元互動是生態(tài)效度的方法之一，但也存在很難控制變量的問題。

將虛擬人運用到社交場景中，可以產(chǎn)生一種“中間立場"，以控制實驗并提高生態(tài)有效性。例如，通過使用虛擬人作為模仿者，可以確保虛擬人只在特定時間內(nèi)表達特定類型的行為，同時提供一個緊密復制現(xiàn)實社會互動的環(huán)境。

而隨著虛擬與現(xiàn)實邊界的逐漸模糊，人與虛擬人之間的互動在不斷增加，許多領域都涉及與虛擬人進行社交互動的場景，如虛擬教練，醫(yī)療保健或虛擬援助等。

因此，我們需要進一步關注人類與虛擬人的互動行為：
模仿行為在人類與虛擬人互動中仍然會發(fā)生嗎？
模仿行為在虛擬互動中會產(chǎn)生怎樣的親社會效應？

過往研究較多在探討虛擬人模仿人類是如何影響社交互動的，對于人類模仿虛擬人對社交互動的影響的研究，結(jié)果表明，在運動模仿層面，當虛擬人微笑時，人們會表現(xiàn)出更多的微笑(Mattheij et al, 2015)和更長時間的微笑(Kramer et al, 2013)；Stel等人(2010)的研究表明，人們模仿虛擬人的頭部運動比模仿其嘴部和眉毛運動更多。然而，在他們的研究中，被試是處于兩種特定的行為選擇下行動的，即要么模仿，要么不模仿。因此，沒有提供人與虛擬人互動中自主模仿的有效信息，關于社交互動中自主模仿的研究問題仍需探索。

因此，基于過往研究，研究團隊想要進一步探究社交互動中人們模仿虛擬人行為的程度，以及模仿是否有利于互動，以此提出以下問題：

（1）人們是否會在在運動(頭部運動和微笑)和自主水平(瞳孔擴張和臉紅)模仿虛擬人的面部表情? 

（2）模仿行為是否與人們對虛擬人的喜愛和信任感增加有關？



社交焦慮會改變模仿行為？
雖然模仿行為通常具有親社會效益，并且在社交互動中經(jīng)常觀察到，但在高社交焦慮水平的人群中，模仿行為似乎會有所改變。

社交焦慮癥被定義為在一個或多個社交場合中，面對不熟悉的人或可能受到他人審視時的持續(xù)恐懼。最近在對不同國家的年輕人進行的調(diào)查研究發(fā)現(xiàn)，多達三分之一的人報告自己存在一定的社交焦慮，這表明社交恐懼在年輕人中尤為普遍。社交焦慮會影響一個人在社交場合的行為，往往使得社交互動無法順利進行。因為他們坐立不安，更頻繁地尋求安慰，且微笑的互惠性較差。此外，他們經(jīng)常表現(xiàn)出安全行為，如避免目光接觸，較少說話，不分享個人信息。采取這些行為是為了避免給人留下負面印象，但往往適得其反。

高社交焦慮水平的人通常表達能力較差，對他人情緒表達的瞳孔反應較小，更容易臉紅。此外，研究表明，社交焦慮個體的模仿行為可能會發(fā)生改變。有研究發(fā)現(xiàn)，具有較高社交焦慮的女性會更少模仿虛擬人的頭部動作，也有研究發(fā)現(xiàn)相反的結(jié)果，即高社交焦慮者會增強對微笑的模仿；這些研究均表明，模仿行為可能會受到社交焦慮的調(diào)節(jié)。這種影響可從兩個角度解釋：首先，社交焦慮者對互動對象情緒表達的感知可能會有所不同，進而影響模仿行為；其次，社交焦慮者對互動對象動作模仿的減少或增加可能是一種避免拒絕或沖突的行為策略，類似于實施一種安全行為。

繼續(xù)探究社交互動中自主性的模仿行為，我們可以更好地理解是什么原因?qū)е律缃唤箲]者的模仿行為發(fā)生改變。因此，本研究同時想要探究：模仿行為是否受到社交焦慮的調(diào)節(jié)?


多模態(tài)社交互動行為實驗
實驗共招募65名被試(53名女性，12名男性)，年齡為18-39歲(M=22.4;Sd = 3.92)。

在實驗開始前，被試需要填寫社交焦慮問卷(LSAS)，然后閱讀投資游戲說明進行練習，并在右臉頰佩戴皮膚溫度傳感器。隨后指導被試戴上耳機，坐在顯示屏前進行眼動校準，進入實驗任務：分別觀看10個虛擬人在電腦顯示器上講述一個中性的故事。在預定的時間點，虛擬人會表現(xiàn)出四種表情和動作:微笑、頭部運動、瞳孔擴張和臉紅。此過程中，全程使用諾達思 The Observer XT 記錄被試的行為與動作。在每個故事結(jié)束后，被試填寫虛擬角色評價問卷（AEQ）、未來互動意愿量表(DFI)以評估他對虛擬人的好感度，并完成一個投資游戲來衡量他對虛擬人的信任程度。

• 虛擬人的面部表情與頭部運動

實驗共設置10個虛擬人物(5位女性，5位男性)的動畫展示，他們在一個虛擬室內(nèi)房間里講述一個中性的故事，這些故事都是關于打排球、看電影或度假等日常生活事件。虛擬人是計算機創(chuàng)建的3D人形模型。在每個試次中，虛擬人都將分別在10個時間點顯示一種表情或動作。

共有四種表情類型:微笑、頭部運動、瞳孔變大或臉紅(圖1)，其中頭部的動作是點頭、搖頭或擺頭。


每個表情顯示4秒，每個表情之間有9秒的中性表情。除此之外，虛擬人也會根據(jù)不同故事內(nèi)容依據(jù)音節(jié)自動做出嘴型動作，并在故事的相應時間點揚眉或斜視，讓整體行為表現(xiàn)更加自然。

此外，虛擬人帶有微笑和瞳孔擴張的混合行為狀態(tài)。在4秒內(nèi)，微笑或瞳孔直徑會從平均值變到最大，保持2秒穩(wěn)定，并在最后一秒縮小回正常狀態(tài)(圖2)。

虛擬人的平均瞳孔大小和最大瞳孔大小

臉紅表情是通過在虛擬人的臉頰上疊加一層紅色來實現(xiàn)；頭部的運動是運用動畫功能實現(xiàn)，在4秒內(nèi)呈現(xiàn)兩次。例如，虛擬人在4秒內(nèi)會點頭兩次。

• 記錄被試多模態(tài)行為表現(xiàn)

1、頭部運動和微笑表情
實驗全程錄制被試面部表情及頭部動作，使用諾達思的行為觀察記錄分析系統(tǒng)（The Observer XT）對視頻記錄進行編碼，共有61人的視頻有效并被編碼。

編碼行為主要為:微笑、皺眉、其他面部動作、點頭、搖頭、晃頭、其他頭部動作和移動位置，但只有微笑和頭部動作(點頭、搖頭和晃頭)被納入分析。

為了定義被試是否在互動中產(chǎn)生微笑表情或頭部運動，研究者將虛擬人展現(xiàn)表情后的特定時間段（4秒）設置為被試行為的響應時間窗口，并創(chuàng)建了一個 python 程序，將編碼結(jié)果匯總為兩個二進制變量：頭部運動反應（HRESP）和微笑反應（SRESP）。數(shù)值為 1 表示在虛擬人展現(xiàn)任意表情或頭部運動后的響應窗口內(nèi)，被試產(chǎn)生了行為（頭部運動或微笑）。例如，任意故事中虛擬人的第一個表情出現(xiàn)在00:07-00:11，那么該行為的響應窗口為00:07-00:15。如果在此時間段內(nèi)（如 00:15）出現(xiàn)了微笑，則該表情的 SRESP = 1，否則 SRESP = 0。

為了評估觀察者間的信度，共有3名編碼員參與編碼與二次編碼，行為觀察記錄分析系統(tǒng)（The Observer XT）會采用Cohen’s kappa計算3名編碼員之間HRESP和SRESP的一致性。結(jié)果表明，編碼者兩兩之間的均具有中度一致性。

2、瞳孔擴散
使用Tobii X2-60眼動儀(采樣率60 Hz)和Tobii Pro Unity軟件開發(fā)工具包(SDK)測量被試的瞳孔直徑大小。使用 python 程序進行預處理，得出被試的瞳孔大小反應 (PRESP)。

3、臉紅反應
使用配備 SKT 100C 模塊的 Biopac MP150（采樣率為 2000 Hz）和 AcqKnowledge 5.0.3 記錄被試臉頰的皮膚溫度。使用python程序進行預處理，得出被試的臉紅反應(BRESP)。


微笑模仿：虛擬社交的粘合劑

• 微笑模仿行為在虛擬社交中的發(fā)生

對于運動水平的模仿，研究結(jié)果表明(圖3)，與虛擬人的其他表情相比，被試更有可能模仿虛擬人的微笑[F(1,6088)=7.722;p=.005]。這說明微笑模仿發(fā)生在人類與虛擬人類的互動中，即人們會模仿虛擬人的微笑。

圖3

而頭部運動行為的結(jié)果表明，被試的頭部運動不受虛擬人頭部運動的影響[F(1,5788)=1.595;p=.207]，即人們不會模仿虛擬人的頭部運動。這種結(jié)果可能是出于文化背景下，虛擬人頭部運動對于被試來說不夠自然，且存在其他變量的影響。因此研究者建議未來研究中可以考慮只探究對于點頭或搖頭的頭部模仿，排除頭部晃動的額外因素，以更好地探究模仿和被模仿的頭部運動行為是否能在與虛擬人的互動中創(chuàng)造融洽的關系。

對于自主神經(jīng)水平的模仿，研究結(jié)果發(fā)現(xiàn)，被試的瞳孔大小不受虛擬人瞳孔擴張的影響[F(1,4485)= 0.050;p=.823]；皮膚溫度也不受虛擬人臉紅表情的影響[F(1,6078)= 0.020;p=.888]。這表明平均而言，在人們與虛擬人社交互動中，瞳孔擴張和臉紅的模仿沒有發(fā)生。這可能是由于虛擬人瞳孔擴張的刺激變化不夠明顯，以及臉紅反應的發(fā)生不夠自然，導致被試對其變化的感受與關注度較低，需要在未來研究中更好地開展控制實驗進行探究。

• 微笑模仿行為的親社會效應

對于模仿行為與喜愛與信任的相關關系，研究結(jié)果表明（圖4），微笑模仿對虛擬角色評價問卷(AEQ)評分有顯著影響[F(1,1521) = 12.592；P<0.001]；對未來互動意愿量表(DFI)評分也有顯著影響[F(1,1521) =14.431；P<.001]，同樣也與對虛擬人的信任度評分有顯著影響 [F(1,1471)=9.801;P=.002]。


圖4

這表明，當人們模仿虛擬人的微笑時，他們對虛擬人的評價更加積極，對與其未來互動有更多的渴望，并有更強的信任感。而頭部動作模仿、瞳孔擴張、臉紅與喜愛與信任度評分均無相關性。

該研究結(jié)果表明，微笑模仿的親社會行為效益同樣可以延伸到人類與虛擬人的互動中。而對于頭部運動、瞳孔擴張和臉紅模仿方面對于好感與信任度的相關關系，過往研究也有不同的結(jié)果呈現(xiàn)，需要繼續(xù)操縱變量進行探究。

• 社交焦慮的影響需要進一步考量

對于社交焦慮對模仿行為影響，結(jié)果表明無顯著影響(表1)，即社交焦慮對虛擬人的表情和動作與被試模仿行為之間的關系沒有調(diào)節(jié)作用。

表1
對于這一研究結(jié)果，研究者分析認為，在微笑模仿中，虛擬人沒有依據(jù)故事內(nèi)容，而只是隨機展現(xiàn)微笑，這可能會讓被試感到這是一個出于禮貌的微笑，而不是快樂的微笑。而對于高社交焦慮者來說，他們可能只會在開心的微笑時表現(xiàn)出較少的模仿，而不是禮貌的微笑。未來研究可以考慮設置不同類型的微笑作為刺激，來更精確地編碼互動者的微笑表情。

同時，社交焦慮對行為的影響可能與情境有關。有研究發(fā)現(xiàn)，當存在負面社會評價風險時，社交焦慮會影響個人信息的披露情況。在本研究中，虛擬人的互動對高度社交焦慮者來說威脅較小，所以人們的模仿行為之間的差異并不會受社交焦慮水平影響。在未來研究中，可以考慮互動情景的設立。此外，本研究實驗招募的被試中，包含的社交焦慮水平較高的人較少，而為了保證樣本的多樣性，應該對被試進行預篩選，獲得不同社交焦慮水平的群體以獲取更加敏感的結(jié)果差異。


總結(jié)
本研究探討了人們模仿虛擬人行為的程度，這種模仿是否有利于互動以及模仿是否受到社交焦慮水平的影響，驗證了過往研究并對微笑模仿行為研究提供了結(jié)合生態(tài)效度與實驗控制的實證基礎。

結(jié)果發(fā)現(xiàn)，在人與虛擬人的互動中，無論焦慮程度如何，人們都會模仿虛擬人的微笑，而微笑模仿與對虛擬人的好感和信任度增加有關。這表明，微笑模仿是一種社交粘合劑，同樣有利于虛擬社交互動。它能增加人們對虛擬人的好感和信任，從而使人與虛擬人的互動更加順暢。

參考文獻
Fasya, E. L., van den Bos, E., Heylen, D. K., & Kret, M. E. (2024). Smile mimicry smoothens human-virtual human interactions. International Journal of Human-Computer Studies, 183, 103182.
Jefferies, P., Ungar, M., (2020). Social anxiety in young people: a prevalence study in seven countries. PLoS ONE. 15 (9), e0239133.
Kramer, ¨ N., Kopp, S., Becker-Asano, C., Sommer, N., (2013). Smile and the world will smile with you—the effects of a virtual agent‘s smile on users’ evaluation and behavior. Int. J. Hum. Comput. Stud. 71 (3), 335–349.
Kret, M.E., Fischer, A.H., de Dreu, C.K.W., (2015). Pupil mimicry correlates with trust in in-group partners with dilating pupils. Psychol. Sci. 26 (9), 1401–1410.
Mattheij, R., Postma-Nilsenova, ′ M., Postma, E., (2015). Mirror mirror on the wall. J. Ambient. Intell. Smart Environ. 7 (2), 121–132.
Prochazkova, E., Kret, M.E., (2017). Connecting minds and sharing emotions through mimicry: a neurocognitive model of emotional contagion. Neurosci. Biobehav. Rev. 80, 99–114.
Stel, M., Blascovich, J., Mccall, C., Mastop, J., van Baaren, R.B., Vonk, R., (2010). Mimicking disliked others: effects of a priori liking on the mimicry-liking link. Eur. J.Soc. Psychol. 40 (5), 867–880.

關注諾達思公眾號，聯(lián)系我們獲取更多產(chǎn)品信息及學術文章！