信号からの畳み込みニューラルネットワークによる制約のない自然画像再構成

Constraint-Free Natural Image Reconstruction From fMRI Signals Based on Convolutional Neural Network fMRI
Zhang, Chi and Qiao, Kai and Wang, Linyuan and Tong, Li and Zeng, Ying and Yan, Bin
Frontiers in human neuroscience, vol.12,pages.242, 2018

近年、機能的磁気共鳴画像法(fMRI)に基づく脳活動の解読に関する研究において,目を引く成果が得られている.しかし,すべての画像に脳活動を指定することは非現実的であるため,脳活動からの制約のない自然な画像再構成は課題のままである.この問題は,多くの場合,意味的な事前情報を使用するか,デジタルや文字を含む単純な画像を再構成することで簡素化された.意味的な事前情報がなしで,畳み込みニューラルネットワーク(CNN)の計算モデルに基づいて人間の視覚皮質のfMRI 信号から自然な画像を再構築する新しい方法を提示する.最初に,事前学習済みのCNN の各レイヤーで表示される自然画像のユニット出力をCNN 特徴として抽出した.次に,スパース線形回帰モデルを訓練してfMRI パターンからCNN 特徴にマッピングすることにより,fMRI 信号からの画像再構成をCNN 特徴の可視化の問題に変換した.CNN ユニットの特徴が脳の活動から予測されたものと最もよく一致した画像を見つけるために繰り返し最適化することにより,私たちは最終的に制約のない自然な画像再構成の有望な結果を達成した.刺激の意味的な事前情報は,デコードモデルのトレーニングでは使用されず,イメージのカテゴリは理論的に再構築できた.再構成された画像は,特に位置と形状が自然な刺激に似ていることが判明した.実験の結果,階層的な視覚的特徴が人間の視覚処理を表現するための効果的なツールである可能性を示唆した.