ヒトの脳活動からの深層画像再構成

Deep image reconstruction from human brain activity
Guohua Shen, Tomoyasu Horikawa, Kei Majima, Yukiyasu Kamitani PLoS computational biology, vol.15, pp.e1006633, 2019

知覚と画像の精神的な内容は,脳内の階層表現にエンコードされていると考えられているが,知覚内容を視覚化する試みは,複数の階層レベルを活用できず,知覚画像の再構成は困難であった.近年の研究により,機能的磁気共鳴画像法(fMRI)によって測定された視覚皮質活動は類似した入力画像により事前学習した深層ニューラルネットワークにより解読可能であることが示された.本研究では,画像のピクセル値を最適化し,深層ニューラルネットワークの特徴を類似させることで,複数の階層における人の脳活動を解読する新たな画像再構成方法を提案する.我々の方法により,視覚した自然画像に類似した画像を確実に再構成可能あることが示された.深層生成ニューラルネットワークにより事前に生成された自然画像は,意味のある細部を効果的に表現した.複数のニューラルネットワークを組み合わせることにより,生成された画像の視覚的な品質が向上することが,ヒトの評価により保証された.モデルは自然画像のみでトレーニングされたが,人工画像に対しても正常に動作し,モデルが標本にのみ一致していないことが示された.同じ解析を精神的な画像に適用し,初歩的な精神的な内容の再構成を行った.我々の結果は,我々の方法が階層的神経表現を効果的に組み合わせて知覚的および主観的な画像を再構築し,脳の内部への新しい窓を提供できることを示唆した.

生成ディープニューラルネットワークを使用したfMRIパターンによる顔の再構成

Reconstructing faces from fMRI patterns using deep generative neural networks
Rufin VanRullen,Leila Reddy Communications biology,vol.2,pp.193,2019

fMRIにより取得した脳反応から明確なカテゴリーは確実に解読できるが,人の顔の様に視覚的に類似した入力を区別することはより困難であることが証明されている.ここでは,我々は最近開発されたディープラーニングシステムをヒトのfMRIによる顔画像の再構成に適用する.我々は有名人の顔の大規模なデータセットに対して教師無しのGANを用いてVAEを訓練した.Auto encoderの潜在空間は,各画像の位相的に構成された意味のある1024次元を提供する.その後,我々は数千の顔を被験者に提示し,複数のボクセルにおけるfMRI活性化パターンと1024の潜在的次元との間の単純な線形マッピングを学習した.最後に,我々はこのマッピングを新しいテスト画像に適用し,fMRIパターンをVAE潜在空間に変換し,潜在空間から顔画像を再構成した.システムはロバストなペアワイズ復号化(correct:\verb|>|95\verb|%|)だけでなく正確な性別分類をし,さらに視覚だけではなく想像された顔の復号化も行った.