生成ディープニューラルネットワークを使用したfMRIパターンによる顔の再構成

Reconstructing faces from fMRI patterns using deep generative neural networks
Rufin VanRullen,Leila Reddy Communications biology,vol.2,pp.193,2019

fMRIにより取得した脳反応から明確なカテゴリーは確実に解読できるが,人の顔の様に視覚的に類似した入力を区別することはより困難であることが証明されている.ここでは,我々は最近開発されたディープラーニングシステムをヒトのfMRIによる顔画像の再構成に適用する.我々は有名人の顔の大規模なデータセットに対して教師無しのGANを用いてVAEを訓練した.Auto encoderの潜在空間は,各画像の位相的に構成された意味のある1024次元を提供する.その後,我々は数千の顔を被験者に提示し,複数のボクセルにおけるfMRI活性化パターンと1024の潜在的次元との間の単純な線形マッピングを学習した.最後に,我々はこのマッピングを新しいテスト画像に適用し,fMRIパターンをVAE潜在空間に変換し,潜在空間から顔画像を再構成した.システムはロバストなペアワイズ復号化(correct:\verb|>|95\verb|%|)だけでなく正確な性別分類をし,さらに視覚だけではなく想像された顔の復号化も行った.