信号からの畳み込みニューラルネットワークによる制約のない自然画像再構成

Constraint-Free Natural Image Reconstruction From fMRI Signals Based on Convolutional Neural Network fMRI
Zhang, Chi and Qiao, Kai and Wang, Linyuan and Tong, Li and Zeng, Ying and Yan, Bin
Frontiers in human neuroscience, vol.12,pages.242, 2018

近年、機能的磁気共鳴画像法(fMRI)に基づく脳活動の解読に関する研究において,目を引く成果が得られている.しかし,すべての画像に脳活動を指定することは非現実的であるため,脳活動からの制約のない自然な画像再構成は課題のままである.この問題は,多くの場合,意味的な事前情報を使用するか,デジタルや文字を含む単純な画像を再構成することで簡素化された.意味的な事前情報がなしで,畳み込みニューラルネットワーク(CNN)の計算モデルに基づいて人間の視覚皮質のfMRI 信号から自然な画像を再構築する新しい方法を提示する.最初に,事前学習済みのCNN の各レイヤーで表示される自然画像のユニット出力をCNN 特徴として抽出した.次に,スパース線形回帰モデルを訓練してfMRI パターンからCNN 特徴にマッピングすることにより,fMRI 信号からの画像再構成をCNN 特徴の可視化の問題に変換した.CNN ユニットの特徴が脳の活動から予測されたものと最もよく一致した画像を見つけるために繰り返し最適化することにより,私たちは最終的に制約のない自然な画像再構成の有望な結果を達成した.刺激の意味的な事前情報は,デコードモデルのトレーニングでは使用されず,イメージのカテゴリは理論的に再構築できた.再構成された画像は,特に位置と形状が自然な刺激に似ていることが判明した.実験の結果,階層的な視覚的特徴が人間の視覚処理を表現するための効果的なツールである可能性を示唆した.

fMRI および作業メモリタスクを使用した画像ベースのfNIRS アプローチの検証

Validating an image-based fNIRS approach with fMRI and a working memory task
S. Wijeakumar, T.J. Huppert, V.A. Magnotta, A.T. Buss and J.P. Spencer NeuroImage, vol.147, pp.204 ー218, 2017

現在の研究では, 機能的近赤外線(fNIRS) 信号を頭部表面上のチャンネル空間から脳容積内のボクセル空間に移動するための新しい画像再構成アプローチを追加することにより, 以前の方法論的パイプラインを拡張する. 2つの手法を用いて,視覚作業記憶(VWM) タスク時のボクセル単位のfNIRS の結果と機能的磁気共鳴画像(fMRI) の結果を比較することにより, この方法論を検証する. 最初の手法では, 前頭頭頂側頭皮質の脳領域全体のすべての実験条件で, fNIRS とfMRI の測定値間に有意なボクセル単位の相関関係が観察された. 2番目の手法では, fNIRSとfMRI の測定値に対して別々の多因子ANOVA を実施し, 共通の関心領域内の主効果と相互作用効果の対応を調査した. fMRI とfNIRS の両方が, 作業メモリに保持されているアイテムの数が増えると, VWM ネットワーク内でのアクティベーションの同様の傾向を示した. これらの結果は, 画像ベースのfNIRS アプローチを検証する.

fMRI と作業記憶タスクによる画像ベースの fNIRS アプローチの検証

Validating an image-based fNIRS approach with fMRI and a working memory task
20170117_sikeda
NeuroImage, Vol.147, pp.204-218, 2016

現在の研究では,脳のボリューム内のボクセル空間に頭表面上のチャネル空間から機能的近赤外(fNIRS)信 号を移動させるための新規な画像再構成アプローチを追加することによって,以前の方法論的パイプラインを拡 張している.2 つのアプローチを用いて視覚ワーキングメモリタスク(VWM)時の機能的磁気共鳴イメージング (fMRI)結果と fNIRS の結果を比較することによって,この方法論を立証する.第 1 のアプローチでは,前頭-頭 頂-側頭皮質の脳領域にわたるすべての実験条件について,fNIRS と fMRI の結果との間に有意なボクセルサイズ の相関が観察された.第 2 のアプローチでは,fNIRS および fMRI 測定で別々の多因子 ANOVA を実施し,共通 関心領域内の主効果と相互作用効果との対応関係について検討した.fMRI と fNIRS 両方に共通して,作業記憶 に保持されている項目の数が増加すると,VWM ネットワーク内での活性化において同様の傾向を示した.これ らの結果は,画像ベースの fNIRS アプローチを確証する.