脳活動のGANによる視覚画像の再構成

Generative Adversarial Networks Conditioned on Brain Activity Reconstruct Seen Images
St-Yves Ghislain, Naselaris Thomas 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC),1054-1061, 2018

脳活動測定値(fMRIなど)の刺激を復号し視覚刺激を再構築する推論問題を検討する.神経表現は高次元でノイズが多くあり,画像の詳細に関する不完全な情報が含まれているため,完全な画像の復元は困難である.したがって,脳活動からの複雑な画像の再構築には,強力な事前学習が必要である.ここでは,脳活動を条件とする画像の生成モデルを学習する為に,Generative adversarial networks(GAN)を訓練することを提案する.このアプローチの2つの課題を検討する.まず,GANがfMRI実験で通常収集されるよりもはるかに多くのデータをトレーニングに必要と考え,脳活動に条件付けられたGANをトレーニングするのに十分なサンプルを取得する方法.次に,生成されたサンプルがfMRIデータに存在するノイズに対して堅牢であることの確認方法.これらの問題を克服する為に,エンコードモデルによって生成される疑似的な脳活動サンプルの作成に注目した.このように訓練された生成モデルは,画像の知覚中に測定された実際のfMRIデータに一般化され,刺激の基本的な概要を再構築できることが判明した.

ヒトの脳活動からの深層画像再構成

Deep image reconstruction from human brain activity
Guohua Shen, Tomoyasu Horikawa, Kei Majima, Yukiyasu Kamitani PLoS computational biology, vol.15, pp.e1006633, 2019

知覚と画像の精神的な内容は,脳内の階層表現にエンコードされていると考えられているが,知覚内容を視覚化する試みは,複数の階層レベルを活用できず,知覚画像の再構成は困難であった.近年の研究により,機能的磁気共鳴画像法(fMRI)によって測定された視覚皮質活動は類似した入力画像により事前学習した深層ニューラルネットワークにより解読可能であることが示された.本研究では,画像のピクセル値を最適化し,深層ニューラルネットワークの特徴を類似させることで,複数の階層における人の脳活動を解読する新たな画像再構成方法を提案する.我々の方法により,視覚した自然画像に類似した画像を確実に再構成可能あることが示された.深層生成ニューラルネットワークにより事前に生成された自然画像は,意味のある細部を効果的に表現した.複数のニューラルネットワークを組み合わせることにより,生成された画像の視覚的な品質が向上することが,ヒトの評価により保証された.モデルは自然画像のみでトレーニングされたが,人工画像に対しても正常に動作し,モデルが標本にのみ一致していないことが示された.同じ解析を精神的な画像に適用し,初歩的な精神的な内容の再構成を行った.我々の結果は,我々の方法が階層的神経表現を効果的に組み合わせて知覚的および主観的な画像を再構築し,脳の内部への新しい窓を提供できることを示唆した.

生成ディープニューラルネットワークを使用したfMRIパターンによる顔の再構成

Reconstructing faces from fMRI patterns using deep generative neural networks
Rufin VanRullen,Leila Reddy Communications biology,vol.2,pp.193,2019

fMRIにより取得した脳反応から明確なカテゴリーは確実に解読できるが,人の顔の様に視覚的に類似した入力を区別することはより困難であることが証明されている.ここでは,我々は最近開発されたディープラーニングシステムをヒトのfMRIによる顔画像の再構成に適用する.我々は有名人の顔の大規模なデータセットに対して教師無しのGANを用いてVAEを訓練した.Auto encoderの潜在空間は,各画像の位相的に構成された意味のある1024次元を提供する.その後,我々は数千の顔を被験者に提示し,複数のボクセルにおけるfMRI活性化パターンと1024の潜在的次元との間の単純な線形マッピングを学習した.最後に,我々はこのマッピングを新しいテスト画像に適用し,fMRIパターンをVAE潜在空間に変換し,潜在空間から顔画像を再構成した.システムはロバストなペアワイズ復号化(correct:\verb|>|95\verb|%|)だけでなく正確な性別分類をし,さらに視覚だけではなく想像された顔の復号化も行った.