ヒトの脳活動からの深層画像再構成

Deep image reconstruction from human brain activity
Guohua Shen, Tomoyasu Horikawa, Kei Majima, Yukiyasu Kamitani PLoS computational biology, vol.15, pp.e1006633, 2019

知覚と画像の精神的な内容は,脳内の階層表現にエンコードされていると考えられているが,知覚内容を視覚化する試みは,複数の階層レベルを活用できず,知覚画像の再構成は困難であった.近年の研究により,機能的磁気共鳴画像法(fMRI)によって測定された視覚皮質活動は類似した入力画像により事前学習した深層ニューラルネットワークにより解読可能であることが示された.本研究では,画像のピクセル値を最適化し,深層ニューラルネットワークの特徴を類似させることで,複数の階層における人の脳活動を解読する新たな画像再構成方法を提案する.我々の方法により,視覚した自然画像に類似した画像を確実に再構成可能あることが示された.深層生成ニューラルネットワークにより事前に生成された自然画像は,意味のある細部を効果的に表現した.複数のニューラルネットワークを組み合わせることにより,生成された画像の視覚的な品質が向上することが,ヒトの評価により保証された.モデルは自然画像のみでトレーニングされたが,人工画像に対しても正常に動作し,モデルが標本にのみ一致していないことが示された.同じ解析を精神的な画像に適用し,初歩的な精神的な内容の再構成を行った.我々の結果は,我々の方法が階層的神経表現を効果的に組み合わせて知覚的および主観的な画像を再構築し,脳の内部への新しい窓を提供できることを示唆した.