深大「臆想多媒體」研究如何讀懂他人腦中思考的事情
不用說話就可以讀懂別人腦海中思考的事情，這一神奇的「讀心術」很可能將變為現實。近日，深圳大學未來媒體技術與計算研究所國家特聘專家江健民教授團隊開創了一種嶄新的腦臆想多媒體研究方向。該團隊在全球首次引入「臆想多媒體」的概念和形式，將使傳統的多媒體能夠呈現人腦內部的臆想，包括人們對未來的憧憬，對過去的回憶，以及對人生的感悟等。
據悉，目前的腦科學研究主要採用定向腦激勵模式，來完成對人腦相關反應的分析。2015年，美國史丹福大學的科研團隊在全球率先使用目標圖像直接激勵人腦的方法，突破了傳統的腦科學研究，完成包含6個類別的腦電圖像自動分類研究並取得40.68%的準確率。2017年，美國佛羅里達大學的科研團隊在此基礎上直接從ImageNet圖像庫內提取40個類別的圖像，用來激勵人腦產生相應的腦電信號（EEG），並向全球發佈了第一個腦電圖像庫ImageNet-EEG。同年，在計算機視覺及人工智慧的頂級學術會議CVPR2017上，該團隊報告了他們的研究成果，即：採用深度學習的手段，對40個類別的圖像腦激勵取得了高達82.9%的分類準確率。2018年，美國康奈爾大學的科研團隊對此資料庫的產生方法提出了質疑。目前，雙方的爭議還在繼續。
2019年，深圳大學江健民教授團隊通過在圖像庫內的預選圖像提取偽腦電信息及其映射的方法，提出一種雙模態深度學習框架，將分類的準確率提高到94.1%。之後，又利用人腦不同區域對不同激勵信息存在敏感差異的特色，提出一種新型LSTM深度學習方法，將腦圖像感知分類進一步提高到98.4%。這意味著，一個人在世界的任一地方看一幅圖像，只要將其看這幅圖像時的腦信號傳到深圳，深圳大學的科研人員就能夠以高達98.4%的概率知道他（她）針對這幅圖像的腦思維活動，並對其內容做具體的可視化呈現。
針對人腦思維的不確定性及其腦電信息採集的不穩定性，深圳大學科研團隊進一步提出了具有腦特色的深度學習研究，並結合傳統的深度學習理論和方法取得了一系列的初步成果。包括能夠突破目前深度學習需要大量帶標籤訓練數據瓶頸的跨域學習方法、圖像視頻內的顯著性檢測以及新的三維場景重構模型等。
業界認為，這項研究為實現真正的「讀心術」走出了基於計算機技術的第一步。相關成果近日發表在多媒體領域國際頂級雜誌IEEE Transaction on Multimedia上。以深圳大學為唯一依託單位的「臆想多媒體的深度分析與可視呈現」項目日前獲得國家基金委信息學部重點項目資助，從2021年至2025年，該團隊將進一步進入腦認知語義識別的科學研究。
