孤獨感對市民精神健康構成關鍵影響，尤以長者群體為甚。具備情緒感知與回應能力的機械人，可作為「暖心」陪伴者，協助舒緩情緒、提振心境。香港理工大學研究團隊最新發現，在具備人工智能（AI）的機械人設計中，將「音樂」與「同理心語言」結合，可在多次互動中促進更強的人機連結。研究結果突顯以多模態途徑設計同理心機械人的重要性，並對其於精神健康支援、長者照護、教育等場景的應用帶來重要啟示。
理大設計學院及電子計算學系跨學科全職教授（社會機器人學）Johan F. Hoorn教授領導研究《跨回合多次互動中的「會說話的音樂機械人」：多模態同理心人機互動研究》 (A Talking Musical Robot over Multiple Interactions) ，發現在AI機械人結合音樂與同理心語言的多模態策略，可促進更強的人機連繫。
此研究項目《跨回合多次互動中的「會說話的音樂機械人」：多模態同理心人機互動研究》（A Talking Musical Robot over Multiple Interactions），由理大設計學院及電子計算學系跨學科全職教授（社會機器人學） Johan F. HOORN（洪約翰）教授帶領，並與香港中文大學的黃詩明（Ivy HUANG）博士合作進行。研究聚焦探討音樂與同理心語言如何提升螢幕式機械人的情感共鳴，結果顯示音樂可作為同理心語言的有力補充，增強互動中的情感連繫。
研究團隊安排以廣東話為母語的參與者，在三個互動回合／多次互動中與同理心機械人進行交流，並評估其互動體驗。結果顯示，音樂與語言的結合顯著提升參與者對機械人同理心水平的主觀感知。
Hoorn 教授指出：「數據顯示，在後續互動回合中，音樂的存在仍可提升機械人的擬人化感。其中一個可能詮釋是：音樂令互動更接近具備個性的真實對話；就如人類輔導員或會以音樂安撫求助者，從而提升機械人的社交臨場感與生命感。」
研究亦提醒，當參與者在重複互動後逐漸「習慣」或「對音樂線索產生適應」時，音樂所帶來的增益可能隨時間下降。這反映在設計長期人機互動時，須更重視以使用者為本與個人化的互動策略，以維持同理心回應的持續相關性與效能。研究建議同理心機械人應能根據使用者回饋與情境動態調整回應，例如調校音樂元素或逐步個人化對話內容，以支援更穩定、持續的情感連結。
Hoorn 教授的研究指出，在人機互動情境中，音樂可作為強化同理心溝通的關鍵促進因素。
Hoorn 教授強調：「本研究指出，同理心機械人的設計應採取涵蓋音樂、語言等訊號的多模態溝通。這對真實世界應用具相當潛力，尤其在精神健康支援及長者照護領域。若能結合可提供度身訂造音樂體驗、並能進行細膩敏感對話的同理心機械人，將有望為可能面對孤獨或社交隔離的人士提供更具意義的陪伴與情緒支援。」
除了這項研究，Hoorn 教授亦正領導另一研究項目「香港社區壓力緩解：大型語言模型賦能社交機械人的戰略性研究」，該項目獲研究資助局主題研究計劃撥款逾港幣 4,000 萬元。
同時，Hoorn 教授亦兼任理大量子技術研究院副院長，並將進一步探索「量子啟發」的人類情感建模框架，以更精準地表徵與回應情緒經驗中固有的模糊性與歧義性。相較於傳統計算系統往往難以處理情感反應的流動性與情境依賴性，量子模型可將情緒狀態表示為機率性的疊加，以反映人類感受在真實互動中的不確定性與複雜度，為情感計算與人機互動設計提供更貼近經驗現象的表徵方式。
Hoorn 教授補充：「最令我振奮的，是有機會研發出不僅能辨識人類情感複雜性，更能接納這份複雜性的社交機械人。這類機械人或可提供更具適應性、開放式且富同理心的支援，與其旨在協助的人群一樣，能在互動中保留餘裕與理解。」
相關研究成果已刊載於《ACM Transactions on Human-Robot Interaction》。
說明圖片一理大設計學院及電子計算學系跨學科全職 教 授 （ 社 會 機 器 人 學 ） Johan F. Hoorn 教授領導研究《跨回合多次互動中的「會說話的音樂機械人」：多模態同 理 心 人 機 互 動 研 究 》 (A Talking Musical Robot over Multiple Interactions) ，發現在 AI 機械人結合音樂與同理心語言的多模態策略，可促進更強的人機連繫。圖片二 Hoorn 教授的研究指出，在人機互動情境中，音樂可作為強化同理心溝通的關鍵促進因素。
