Skip to Content Facebook Feature Image

理大生首創AR購物APP 協助智障自閉人士自理

理大生首創AR購物APP 協助智障自閉人士自理

理大生首創AR購物APP 協助智障自閉人士自理

2019年08月14日 09:17 最後更新:09:18

理大生研究的APP協助有需要人士自理。

四名理大學生成功研發全港首創「AR購物APP」,協助欠缺自理人士獨立生活,該團隊早前通過擴張實境等先進技術,研發本港首個專為智障及自閉人士而設的手機應用程式,使用者只要觀看手機屏幕,便可通過導航聲音及指示圖標,在模擬商店內尋獲打算購買的貨品,有關系統經特殊學校學生試用後,證明卓著,預計下月推出後,將獲不少特殊教育機構採用。

更多相片
Boris(左)及Aimee(右)偕同兩名隊友,成功研發本港首個專為智障及自閉人士而設的AR手機應用程式。

Boris(左)及Aimee(右)偕同兩名隊友,成功研發本港首個專為智障及自閉人士而設的AR手機應用程式。

禮賢會恩慈學校安排大約廿名中度智障學生在校內模擬超市試驗程式。

禮賢會恩慈學校安排大約廿名中度智障學生在校內模擬超市試驗程式。

理大生成功開發手機程式協助有需要人士自理。 資料圖片

理大生成功開發手機程式協助有需要人士自理。 資料圖片

相關程式將於下月面世。 設計圖片

相關程式將於下月面世。 設計圖片

Boris(左)及Aimee(右)偕同兩名隊友,成功研發本港首個專為智障及自閉人士而設的AR手機應用程式。

Boris(左)及Aimee(右)偕同兩名隊友,成功研發本港首個專為智障及自閉人士而設的AR手機應用程式。

過往曾當義工接觸智障及自閉人士的Boris,去年九月報讀理工大學設計學院多媒體科藝理碩士課程,和三名女同學Aimee、Aurora及Selene構思畢業功課時,留意到坊間沒有手機應用程式(APP)訓練智障及自閉人士獨自購物,於是組成團隊「Spark」(星火)進行有關研發。

確立目標後,四人坐言起行,Boris負責編寫程式,Aurora設計程式內所需圖案,Aimee研究試驗對象的心理,Selene則負責推廣及宣傳,經四個月努力後,手機應用程式「StarMall」於今年一月完成設計,隨後邀請了禮賢會恩慈學校約二十名中度智障學生,在校內模擬超級市場試驗程式,但發現有不足之處,於是詢問專家意見、反覆檢討和不斷測試,對程式進行多次修改。

經過大約十次試驗,團隊上月將「StarMall」改良至第四個版本後,終克服所有技術和操作問題,記者日前獲悉到禮賢會恩慈學校,見證特殊學校學生試用該程式購物過程。

訪問當日,Boris說已預先在該校的模擬超市,通過手機鏡頭和程式帶有的人工智能(AI)功能,讓程式「認路」和製作正確行走路綫,再以擴張實境(AR)製作指示方向的「星星」圖案,並為目標貨物作標記,聲音導航則會提示行走路綫是否正確,有關設定會儲存於雲端伺服器,方便老師隨時開啟程式供學生「購物」。

介紹過後,兩名中度智障及有自閉傾向的學生親身示範,其中十八歲的「阿峰」點擊手機屏幕開啟程式後,根據「星星」圖案和聲音導航穿梭貨架,約半分鐘找到被指示要購買的曲奇餅,隨即將手機鏡頭對準曲奇,並點擊屏幕作標示,之後拿往收銀櫃枱付款;八歲的「進仔」亦不負眾望,不消四十秒成功找到同款曲奇餅,眾人隨即拍手讚許。

禮賢會恩慈學校安排大約廿名中度智障學生在校內模擬超市試驗程式。

禮賢會恩慈學校安排大約廿名中度智障學生在校內模擬超市試驗程式。

談及研發過程,Boris苦笑表示,初時以箭嘴圖案指示方向,不料有關學生無法理解,又發現圖案欠缺趣味,令他們便會分心,不按指示行走,決定修改圖案;Aimee亦指「試驗對象無法說出使用程式時所遇到的問題」,只能將心比己,思考對方感受,其後明白眾人視覺能力較強,於是改用有趣的「星星」圖案吸引眼球,成功讓他們按指示「購物」。

對於成功研發本港首個讓智障及自閉人士學習購物的「AR」手機應用程式,Boris笑言希望精益求精,正研究將程式與市面的支付工具掛,方便有關學生學習以手機付錢,亦考慮將橫向觀看的屏幕改為直向,讓他們一手持手機,騰空一手應付突發情況,又考慮研發家長同屏功能,讓父母了解子女學習情況。

理大生成功開發手機程式協助有需要人士自理。 資料圖片

理大生成功開發手機程式協助有需要人士自理。 資料圖片

雖然「StarMall」程式最快下月才正式推出,但Aimee透露已有至少五所特殊學校有意採用,惟因欠缺資金購買雲端伺服器儲存容量,目前程式只能儲存一條「購物路綫」於容量有限的免費伺服器,同時欠缺研發費用,故此正申請各項基金,若獲得資助,有望進一步改善程式,讓智障及自閉人士更有效學習購物,從而提升獨立生活能力。

相關程式將於下月面世。 設計圖片

相關程式將於下月面世。 設計圖片

香港理工大學與江西省贛州市興國縣人民政府就共建的香港理工大學興國技術創新研究院於過去的星期四(3月19日)舉行揭牌儀式,雙方合作推動科研轉化、人才培養及產業升級邁進新里程。研究院將致力推動紡織服裝、先進材料與智能制造等領域協同創新,推動紡織服裝產業高質量發展。

理大校董會主席林大輝、高級副校長(研究及創新)趙汝恒、理大興國技術創新研究院院長範金土,聯同興國縣委書記李賤貴、贛州市副市長雷鳴,以及中國紡織工業聯合會副會長閻巖共同主持揭牌儀式。

理大校董會主席林大輝致辭。

理大校董會主席林大輝致辭。

同場,研究院還與三間業界知名機構及學院簽署合作協議。

進行揭牌儀式。

進行揭牌儀式。

當日,理大時裝及紡織學院師生特別舉行時裝表演,展示一系列融合科技及時尚設計的服飾;還舉辦了「前沿服裝紡織科技大會」,吸引來自國內外的頂尖學者與行業領袖參與。

研究院將致力推動紡織服裝、先進材料與智能制造等領域協同創新,推動紡織服裝產業高質量發展。

研究院將致力推動紡織服裝、先進材料與智能制造等領域協同創新,推動紡織服裝產業高質量發展。

你 或 有 興 趣 的 文 章