失智癥影響著全球數(shù)百萬(wàn)人，并對(duì)個(gè)人參與日常活動(dòng)的能力構(gòu)成挑戰(zhàn)。積極的生活對(duì)于減輕癡呆癥的神經(jīng)退行性影響至關(guān)重要，但失智癥患者往往難以獨(dú)立發(fā)起和完成任務(wù)。

現(xiàn)代技術(shù)提供了有希望的解決方案，幫助他們參與積極生活活動(dòng)，并通過(guò)提示提高他們的生活質(zhì)量。其中，混合現(xiàn)實(shí)（Mixed Reality, MR）技術(shù)在改善失智癥患者即時(shí)感知和行動(dòng)能力方面的有著巨大潛力。

本文研究旨在更好地理解失智癥患者在混合現(xiàn)實(shí)環(huán)境中成功和正確感知提示的方式。通過(guò)觀察失智癥患者與四種混合現(xiàn)實(shí)技術(shù)的互動(dòng)，探究他們對(duì)不同類型提示（視覺、聲音）的感知和反應(yīng)，以期為混合現(xiàn)實(shí)技術(shù)在失智癥輔助技術(shù)中的應(yīng)用提供科學(xué)依據(jù)（Desai et al., 2024）。

失智癥患者該如何重建生活？

失智癥是一種全球性健康問題，據(jù)阿爾茨海默病國(guó)際組織統(tǒng)計(jì)，全球有超過(guò)5500萬(wàn)人患有失智癥，預(yù)計(jì)到2050年這一數(shù)字將增至1.39億。失智癥早期以輕度認(rèn)知障礙和認(rèn)知功能中度下降為特征，表現(xiàn)為工作表現(xiàn)下降、記憶力減退、注意力不集中、解決問題和管理復(fù)雜任務(wù)困難等。這些癥狀進(jìn)一步惡化，會(huì)影響日常溝通和活動(dòng)。

而積極生活可以通過(guò)促進(jìn)失智癥患者與更大社區(qū)的聯(lián)系，并幫助他們管理身心健康來(lái)實(shí)現(xiàn)。這些活動(dòng)應(yīng)結(jié)構(gòu)化和計(jì)劃化，以匹配失智癥患者的需求、能力和病程。例如，日常活動(dòng)應(yīng)包括購(gòu)物、烹飪和家務(wù)等；輕度失智癥患者可參與輕度家務(wù)、整理、洗滌和準(zhǔn)備冷食；晚期失智癥患者則可參與享受食物和飲料、味覺和嗅覺等活動(dòng)。

混合現(xiàn)實(shí)技術(shù)的輔助潛力

神經(jīng)心理康復(fù)方法通過(guò)適應(yīng)環(huán)境和失智癥患者的行為來(lái)提供提示。例如，看護(hù)者常用膠帶封住微波爐上的數(shù)字鍵，以便失智癥患者知道按哪些數(shù)字來(lái)加熱食物。認(rèn)知假肢方法則側(cè)重于增強(qiáng)患者的能力，而不是由看護(hù)者或技術(shù)代替患者完成任務(wù)。

而隨著傳感器和可穿戴技術(shù)的發(fā)展，混合現(xiàn)實(shí)技術(shù)（Mixed Reality, MR）有望變得更加普及。該技術(shù)通過(guò)在虛擬和物理世界之間提供沉浸式體驗(yàn)，為失智癥患者提供了可擴(kuò)展的輔助工具，并可根據(jù)不同應(yīng)用、行為和情境進(jìn)行編程，從而提高其可擴(kuò)展性。主要通過(guò)增強(qiáng)現(xiàn)實(shí)（AR）和增強(qiáng)虛擬（AV）兩種方式，將虛擬元素融入物理世界或?qū)⑽锢韺?duì)象融入虛擬世界。

通過(guò)理解失智癥患者如何感知和響應(yīng)混合現(xiàn)實(shí)技術(shù)中的提示，可以為設(shè)計(jì)更加用戶友好、直觀的輔助技術(shù)提供指導(dǎo)，從而提高失智癥患者的生活質(zhì)量。

在混合現(xiàn)實(shí)中與不同提示的交互行為

本研究采用設(shè)計(jì)研究（Research through Design, RtD）方法，通過(guò)觀察研究了解失智癥患者與混合現(xiàn)實(shí)技術(shù)的互動(dòng)。

共招募22名患有阿爾茨海默病（AD）和輕度認(rèn)知障礙（MCI）的失智癥患者，通過(guò)蒙特利爾認(rèn)知評(píng)估（MoCA）工具評(píng)估其認(rèn)知功能，然后患者分別在四天與四種混合現(xiàn)實(shí)技術(shù)，即AR技術(shù)（Microsoft HoloLens、Apple Arkit；圖1、2）和AV技術(shù)（Tangible Play Osmo、Microsoft Xbox Kinect；圖3、4）進(jìn)行互動(dòng)游戲。

圖1 飛行松鼠游戲                                        

圖2  搭積木游戲

圖3 七巧板游戲                        

圖4 保齡球游戲

采用游戲作為與失智癥患者互動(dòng)的方式，因?yàn)橛螒蚰軌騽?chuàng)造響應(yīng)性環(huán)境，允許參與者自然地與技術(shù)互動(dòng)。游戲的選擇考慮了失智癥患者的興趣和能力，確保他們?cè)诓皇軙r(shí)間限制的情況下自由探索。

整個(gè)過(guò)程中使用諾達(dá)思的行為觀察分析系統(tǒng)（The Observer XT）進(jìn)行行為觀察分析，系統(tǒng)地編碼和分析視頻中的特定行為，從而量化失智癥患者在與混合現(xiàn)實(shí)技術(shù)互動(dòng)時(shí)不同類型提示的感知和響應(yīng)情況。

研究者對(duì)視頻記錄進(jìn)行了主題分析，主要關(guān)注技術(shù)呈現(xiàn)的提示和被試的動(dòng)作和手勢(shì)。通過(guò)計(jì)算每種提示類型被成功感知的概率，評(píng)估不同類型提示的有效性。

首先，研究者編制了編碼方案（表1），主要包括技術(shù)呈現(xiàn)的提示（視覺提示、聲音提示和研究者干預(yù)）和被試的動(dòng)作/手勢(shì)（言語(yǔ)響應(yīng)、身體動(dòng)作、凝視、手勢(shì)和觸摸屏交互）。隨后在The Observer XT中以此標(biāo)記出技術(shù)呈現(xiàn)的提示和被試的響應(yīng)動(dòng)作，最后用以計(jì)算失智癥患者成功感知提示的次數(shù)，以及每種提示類型被成功感知的概率。

表1

不同提示類型的即時(shí)感知概率

結(jié)果分析如下（圖5）：

（一）聽覺提示的感知

人類語(yǔ)音作為提示最容易被感知，因?yàn)樗且环N自然的交互方式，與看護(hù)者和家庭成員的指令相似，而卡通人物的聲音和音調(diào)音色則較難理解。目前，虛擬AI助手在失智癥患者家中已被試用，并顯示出有效性。然而，未來(lái)研究需評(píng)估這些技術(shù)中對(duì)話的質(zhì)量和性質(zhì)。

（二）視覺提示的感知

符號(hào)和圖形提示最容易被失智癥患者感知，而動(dòng)畫符號(hào)和圖形則較難理解。形狀提示的感知成功率適中，而閃爍的視覺元素則最難被感知。文本提示非常有效，但需避免使用復(fù)雜語(yǔ)言和隱喻。

（三）動(dòng)作與手勢(shì)

非語(yǔ)言形式的交互（如手勢(shì)）比需要語(yǔ)言和語(yǔ)義認(rèn)知處理的交互更有效。對(duì)失智癥患者動(dòng)作的反饋提示具有很高的感知成功率，有助于減少認(rèn)知負(fù)荷。失智癥患者能夠成功地使用不熟悉的手勢(shì)與混合現(xiàn)實(shí)技術(shù)互動(dòng)。

圖5 成功感知提示的概率聚類條形圖

提高感知率的設(shè)計(jì)指南

本研究發(fā)現(xiàn)，人類語(yǔ)音、圖形符號(hào)和文本提示是失智癥患者在混合現(xiàn)實(shí)環(huán)境中最容易成功感知的提示類型。反饋提示對(duì)于提高感知成功率至關(guān)重要。這些發(fā)現(xiàn)為設(shè)計(jì)失智癥患者的混合現(xiàn)實(shí)提示提供了科學(xué)依據(jù)。

基于研究結(jié)果，提出以下設(shè)計(jì)建議：

•  使用人類語(yǔ)音：作為主要的提示方式，因?yàn)樗匀磺乙子诶斫狻?/span>

• 簡(jiǎn)化視覺提示：避免使用復(fù)雜的圖形和動(dòng)畫，使用直觀且易于理解的符號(hào)和圖形。

• 提供反饋：對(duì)失智癥患者的每個(gè)動(dòng)作提供反饋，以減少認(rèn)知負(fù)荷并提高感知成功率。

• 考慮非語(yǔ)言交互：利用手勢(shì)等非語(yǔ)言形式的交互，以提高失智癥患者的參與度和自主性。

未來(lái)研究可進(jìn)一步評(píng)估不同提示組合的效果，并可以根據(jù)失智癥患者的個(gè)體差異（如認(rèn)知障礙程度、興趣愛好）開發(fā)個(gè)性化的提示系統(tǒng)。此外，可以進(jìn)行長(zhǎng)期效果評(píng)估，進(jìn)一步探究輔助技術(shù)對(duì)失智癥患者生活質(zhì)量、認(rèn)知功能和自主性的長(zhǎng)期影響。

參考文獻(xiàn)

Desai, S., Mutsuddi, R., & Astell, A. J. (2024). Enhancing prompt perception in dementia: a comparative study of mixed reality cue modalities. Frontiers in Sports and Active Living, 6, 1419263.

關(guān)注諾達(dá)思公眾號(hào)，聯(lián)系我們獲取更多產(chǎn)品信息及學(xué)術(shù)文章！