對於許多自閉症患者來說,簡單地與他人交流可能是一個幾乎無法克服的挑戰,許多人根本無法說話。
近日,加拿大卡爾加里大學根據微軟 HoloLens 2 開發了一個 HoloBoard 系統,旨在幫助自閉症學生提高運動技能和溝通能力。
這是由 SSE 研究員 Diwakar Krishnamurthy 博士與理學院的 Mea Wang 博士、弗吉尼亞大學的 Vikram K。 Jaswal博士、非語言自閉症社區合作項目的一部分。
HoloLens 2 的作用類似於標準 VR 設備,但有一個主要區別:頭戴顯示設備上的遮陽板是透明的,允許用戶看到他們現實世界的環境。使用 HoloBoard 系統,交互式全息圖像通過頭顯出現在房間中。該系統的概念是讓用戶通過與全息鍵盤和虛擬教學內容來練習相關的運動技能和溝通能力,通過文本拼寫方式和鍵盤轉語音工具來實現人際交流。
一直在幫助自閉症學生的 RPM 療法實踐者Madison Imber 表示,HoloBoard不僅可以幫助用戶溝通,還可以幫助改善運動。自閉症療法提示訓練法(RPM)從業者指導思想,提供定製教育課程,以適應學生獨特的感覺和運動特徵。RPM 涉及持續,快節奏的提問,催促和參與,並結合使用低技術字母板進行拼寫交流,為 UCalgary 團隊的研究提供了資訊。
Imber 指出:「許多不會說話的自閉症患者也有失用症,簡單地說,這是大腦和運動之間的脫節。失用症會致使許多不會說話的人員很難在他們的環境中進行有意義的活動,HoloBoard系統可以通過全息交互提供此類支持。我看到許多參與者在 3D 環境中導航和與虛擬物體交互的能力取得了進步。」
研究人員和受試者之間的合作在開發 HoloBoard 原型的整個過程中都很明顯。Imber 和她的客戶自 2022 年夏天以來一直與卡爾加里大學團隊合作,研究團隊非常重視非說話自閉症參與者的意見。
HoloBoard 項目的研究人員 Lorans Alabood 表示:「在電腦科學和軟體工程中,我們用一個術語『以用戶為中心的設計』來描述這種研究,我們更關注用戶真正想要的東西。我設計 HoloBoard 的方法與此一致,但我通過『以共情為中心的設計』更進一步。這是一種與使用系統的人產生共鳴的方法,並要求我們深入理解非語言用戶的個人體驗。」
參與者在原型的開發中發揮了重要作用,反過來,他們的運動技能和信心也得到了改善。
Imber 表示:「HoloLens 可以實現這樣的進步和參與度真的非常驚。我看到學生們在嘗試新鮮事物方面的能動性和信心方面取得了很大的進步。」
原型的兩位試用用戶 Eric Herzog 和 Geoff Ondrich 使用鍵盤進行交流,他們表示這項研究已經改變了他們的生活。
團隊希望教室能夠進一步採用全息技術,從而更好地容納和包容自閉症學生。