多重スケール特徴量統合のためのショートカットを備えた深層3 次元畳み込みエンコーダネットワークの多発 性硬化症病変セグメンテーション

Deep 3D Convolutional Encoder Networks With Shortcuts for Multiscale Feature Integration Applied to Multiple Sclerosis Lesion Segmentation
IEEE transactions on medical imaging, vol. 35, no.5, pp. 1229-1239, 2016
20171007_ttamaki

我々は,ショートカット接続を有する深層3 次元畳み込みエンコーダーネットワークに基づく新規のセグメンテーション手法を提案し,それを磁気共鳴画像における多発性硬化症(MS)病変のセグメント化に適用する.我々のモデルは,2 つの相互接続された経路,すなわち,より抽象的で高レベルの画像特徴を学習する畳み込み経路と,ボクセルレベルでの最終的なセグメンテーションを予測するデコンボリューション経路とからなるニューラルネットワークである.特徴抽出および予測経路の共同訓練は,画像タイプおよびセグメンテーションタスクの任意の所与の組み合わせに対する精度のために最適化された異なるスケールでの特徴の自動学習を可能にする.さらに,2 つの経路間のショートカット接続により,高レベルと低レベルのフィーチャを統合することができ,広範囲のサイズにわたる病変のセグメンテーションが可能となる.2 つの公的に利用可能なデータセット(MICCAI 2008 およびISBI 2015 チャレンジ)について我々の方法を評価した結果,我々の手法は,トレーニングに利用可能な比較的小規模のデータのみであってもトップランクの最先端の方法と同等に機能することが示された.さらに,本手法を,MS 臨床試験からの大量のデータセットを使って,自由に入手可能で広く使用されている5 つのMS 病変セグメンテーション法(EMS、LST-LPA、LST-LGA、Lesion-TOADS およびSLS)と比較した.その結果は我々の手法が広範囲の病変サイズにわたってこれらの他の手法より一貫して優れていることを示している.

ドライバの注意状態感知のための脳機能と呼吸情報の収集と実験設計

Experimental Design and Collection of Brain and
Respiratory Data for Detection of Driver’s Attention
HEALTHINF, pp.441-450, 2017

運転者の注意は交通安全において非常に重要であり,実験室中の運転シミュレーションであっても観察する価値 がある.本稿では,運転者に注意を喚起する実験の設計,収集されたデータの検証およびデータ解析で使用される 最初の前処理と処理ステップを扱う.脳活動は主要な生体信号と考えられ,脳波情報および事象関連電位に関する 技術および手法を用いて測定,分析される.呼吸は,脳活動と共に取得可能な二次的な生体信号と考えられる.ス タックオートエンコーダを用いた収集されたデータの検証は,データ分析に先立つ重要なステップと考えられる.

非医療分野からのLow-Level CNN特徴の転送による結腸直腸ポリープの自動検出と分類

Automatic Detection and Classification of Colorectal Polyps by Transferring Low-Level CNN Features From Nonmedical Domain
IEEE Journal of Biomedical and Health Informatics vol.21, Jan. 2017
20170426_nishida

結腸直腸がん(CRC)は,世界中のガンによる死亡の主要な原因である.早期のポリープ切除術はCRC 発生率を低下させるが,ポリープの90%は小さく,小型であり,ポリープの除去は利益を上回る可能性のある患者にリスクをもたらす.大腸内視鏡検査中にポリープのタイプを正確に検出し予測することにより,内視鏡専門医は,生体検査を行うことなく組織を切除して廃棄することができ,時間とコストを節約出来る.それにも関わらず,初 期のポリープのインゲンの視覚的観察は様々である.本論文は,過形成及び腺腫性の結腸直腸ポリープを検出及び 分類する完全自動アルゴリズムを開発する事を目的としている.腺腫性ポリープは除去すべきであるが,遠位の小 型過形成ポリープは臨床的に重要ではないと考えられ,その場に残す事が出来る.深い畳み込みニューラルネット ワークを用いて,1.4 2.5 百万の画像を有する大きな非医用データセットから学んだ特徴を利用した,新規の伝達 学習アプリケーションが提案される.私たちが実験用に収集した内視鏡画像は,ランダムな照明条件であり,白色 光とNBI 内視鏡検査で撮影した1104 個の内視鏡非ポリープ画像と,263 枚の過形成ポリープ画像,826 枚のNBI 内視鏡ポリープ画像,563 枚は組織学的検査が確認された腺腫であった.提案手法は,最初に非ポリープ画像か らポリープ画像を同定し,その後ポリープ組織像を予想した.内視鏡検査者による目視検査と比較した場合,提 案手法は類似したPrecision(87.3%対86.4%)を得た.しかし,高いRecall(87.7%対77.0%)と高いAccuracy (85.9%対74.3%)を得た.結論として,自動アルゴリズムは腺腫性であるが間違って過形成と判断されたポリー プを同定する際に内視鏡専門医を助けることが出来る.従って,浸潤性ガンに発展する前に早期にこれらのポリー プをその場で切除することが出来る.

画像の認識と説明のためのLong-Term Recurrent Contolutional Networks

Long-Term Recurrent Convolutional Networks for Visual Recognition and Description
IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 39, no. 4, pp. 677-691, 2017
20170424_ttamaki

deep convolutional networksに基づくモデルが最近の画像解釈タスクを独占している.
そして,私たちは再帰的なモデルが時系列や視覚的なもの,そしてそれ以外のものを含むタスクに対して有効であるかどうかを調査する.
私たちはend-to-endで学習可能で大規模な画像認識タスクに適用可能な再帰的な畳み込み構造のクラスについて説明し,
動作認識,画像キャプション,動画説明のためのこれらのモデルの価値を示す.
固定された視覚表現を仮定したり,逐次処理のために単純な時間平均を実行する以前のモデルとは対照的に,
再帰的な畳み込みモデルは空間と時間の構成表現を学習する点で「二重に深い」モデルである.
非線形性がネットワーク状態更新に組み込まれている場合,長期依存性を学習することが可能である.
微分可能な再帰モデルは可変長入力(例えば、ビデオ)を可変長出力(例えば,自然言語テキスト)に直接マップし,
複雑な時間ダイナミクスをモデル化することができる点で魅力的である.
それでもバックプロパゲーションで最適化することができる.
我々の再帰的なシーケンスモデルは、現代の視覚的なconvolutional networkのモデルに直接接続されており,
時間的ダイナミクスおよび畳み込みの知覚表現を学習するために共同で訓練することができる.
我々の結果は,そのようなモデルが個別に定義または最適化された最新の認識モデルまたは世代モデルに対して,
明確な利点を有することを示した.

fNIRS の BCI 適応のための Deep Learning の調査

Investigating Deep Learning for fNIRS based BCI
2015 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), pp.2844-2847
20170206_rtamura

fNIRS は脳機能を計測するための比較的新しい装置であり,近年では BCI を構築するための有望な結果を示し ている.装置が新しいため,1 試行の分析のための意味のある特徴と分類の標準的なアプローチがまだない.大 部分の研究は,EEG ベースの非常に単純な特徴の確立された分類に限られる.Deep Neural Network のようなよ り複雑で強力な分類器のアプローチの実現可能性は,我々の知る限りでは,fNIRS ベースの BCI には調査されて いなかった.Deep Neural Network がいろいろなタスクで従来の機械学習方法を上回ったのに加え,ニューラル・ ネットワークのためのトレーニング方法の進歩もあり,これらのネットワークは最近ますます人気になった.本 稿では,fNIRS で測定される脳活動のパターンを分類するために Deep Neural Network を使用した.また,Deep Neural Network と従来手法を比較した.

選択的データサンプリングを用いた高速畳み込みニューラルネットワーク学習:カラー眼底画像の出血検査へ の適用

Fast convolutional neural network training using selective data sampling: Application to hemorrhage detection in color fundus images
IEEE transactions on medical imaging, vol.35, no.5, pp.1273-1284, 2016
20161130_rtamura

Convolutional Neural Networks(CNN) はコンピュータ・ビジョンの分野で最高水準の技術を推進している深層
学習のネットワークアーキテクチャで,医用画像分析において注目されている.しかしながら,CNN のトレーニン
グには時間がかかり困難である.医用画像の分析作業において,多くのトレーニング例は分類することが簡単で,
CNN の学習過程にほとんど意味がない.本稿で,我々は誤分類された陰性サンプルをトレーニング中に動的に選
択することで,医用画像分析作業のためのCNN の学習の改善と素早い収束の方法を提案する.学習サンプルは
CNN の現在の状態の分類に基づいてヒューリスティックにサンプリングされる.重みはトレーニングサンプルに
割り当てられ,有益なサンプルは次のCNN の学習ループに含まれる可能性が高い.我々は選択的サンプリング手
法を使った時と使っていない時のそれぞれのCNN の学習によって,我々の提案手法を評価し,比較した.我々は,
カラー眼底画像の出血探知に注目した.2 人の専門家の平均以上の精度となったトレーニング時間が170Epoch か
ら60Epoch に減少し,2 つのデータセットで受信者動作特性(ROC) 曲線の面積が0.894 と0.972 となった.選択
的サンプリングCNN は独自試験のデータセットによって統計学的に選択的サンプリングなしのCNN よりも性能
が高かった.

畳み込みニューラルネットワークを用いた MRI 画像における脳腫瘍分割

Brain Tumor Segmentation Using Convolutional Neural Networks in MRI Images
IEEE transactions on medical imaging, vol.35, no.5, pp.1240-1251, 2016
20161103_rtamura

脳腫瘍において,神経膠腫は最も一般的で侵攻性が高く,最高レベルの悪性度では余命が非常に短くなる.した がって,治療計画は腫瘍患者の QOL(生活の質)を向上させるための主要段階である.核磁気共鳴画像法(MRI) は,これらの腫瘍を診察するための撮像方法として広く利用されている.しかし,MRI によって撮像される大量 のデータは適切な時間内で手動分割を妨げる.その結果,臨床診療では正確な定量的測定を制限する.そのため, 自動で且つ信頼性のある分割方法が必要とされている.しかしながら,脳腫瘍間の大きな空間と構造的変異は分 割の自動化を困難にさせる.本稿で,我々は 3×3 の小さいカーネルを調査し,Convolutional Neural Network (CNN)に基づいた自動分割手法を提案する.小さいカーネルの使用は,重みの少ないネットワークを構成し,オー バーフィッティングに対する有効な効果がある他に,より深いアーキテクチャを設計することを可能にする.我々 は前処理として明暗度の正規化を用いることも調査した.その正規化は CNN を基にした分割手法では一般的では ないが,データの増加とともに MRI 画像の脳腫瘍分割において非常に有効であることが証明されているためであ る.我々の提案手法は,Dice Similarity Coefficient の測定基準であるコンプリート,コア,エンハンシングの部分 (0.88, 0.83, 0.77)で同時に 1 位を得たことで,脳腫瘍分割チャレンジ 2013(BRATS 2013)のデータベースで正 当性が立証された.また,オンラインの評価プラットフォームによって総合 1 位となった.我々は BRATS2015 の チャレンジにも同じモデルを用いて参加し,Dice Similarity Coefficient の測定基準で同じ部分で 0.78, 0.65, 0.75 で第 2 位となった.

等強度の複数撮像手段における幼児脳画像分割深層畳み込みニューラルネットワーク

Deep convolutional neural networks for multi-modality isointense infant brain image segmentation
NeuroImage, vol.108, pp.214-224, 2016
20161015_ttamaki.pdf

白質 (WM),灰白質 (GM),と脳脊髄液 (CSF) への幼児の脳組織画像の分割は,初期の脳発達における健康と 病気を調べる上で重要な役割を果たす.等強度段階 (生まれて 6 8ヶ月程度) において,白質と灰白質は T1 と T2 の MR 画像ともに同程度の信号強度を示す.そのため,この段階の幼児の脳の組織分割は非常に困難である.ご く少数の既存手法は,この等強度段階の組織分割のために設計されている.しかしながら,これらの既存手法は, T1 または T2 画像のどちらか一方の画像,または T1 と T2 画像の組み合わせのみを用いていた.本稿で,我々は 複数の撮像手段で得られるMR画像を用いて,等強度段階の脳組織を分割するために深層畳み込みニューラルネッ トワーク (CNN) を利用することを提案する.CNN は,訓練可能なフィルタと局所受容野的役割を持つプーリン グ作用は生の入力画像に交互に適用され,結果的に複雑な特徴の階層構造が生じる Deep Learning モデルの一種 である.具体的に,我々は入力として T1 と T2 と異方性比率 (FA) 画像から成る複数の撮像手段の情報を用いて, 出力として分割マップを生成した.複数の中間層には,入力と出力の間の非常に非線形な特徴マップから特徴を 捉えるために,畳み込み,プーリング,正規化やその他の処理を適用した.我々は,我々の提案手法と従来手法の 性能を 1 組の等強度段階の脳画像を手動で分割したものを用いて比較した.結果は,我々の提案手法が従来手法 よりもかなり性能が優れていた.これに加えて,我々の結果は,複数の撮像手段の画像の統合は等強度段階の脳 画像の分割の大きな性能向上につながることを示した.

転移性乳がんを識別するための深層学習

Wang, Dayong, et al. “Deep Learning for Identifying Metastatic Breast Cancer.” arXiv preprint arXiv:1606.05718 (2016).
20160627_rtamura

ISBI はセンチネルリンパ節生検の全試料画像で転移性乳がんの自動検出する計算システムを評価するためのグ ランドチャレンジを開催した.我々のチームはそのグランドチャレンジで全試料画像の識別タスクで 0.925 の手 術を受けた濃度曲線下面積スコアと腫瘍局在診断タスクで 0.7051 点を得て,識別タスクと腫瘍局在診断タスクの 両方の競争に勝利した.病理学者が一人で同じ画像を評価した結果,全試料画像の識別濃度曲線下面積スコアは 0.966 で,腫瘍局在診断スコアは 0.733 であった.我々の深層学習システムの予測を病理学者の診断と合わせると, 病理学者の濃度曲線下面積スコアは 0.995 に増加し,ヒューマンエラーの割合は 85%縮小した.これらの結果は, 病理診断の精度の重要な改善をもたらす深層学習の検出力を示す.

テクスチャ分類のためのConvolutional Neural Networks におけるフィルタバンクの使用

Using Filter Banks in Convolutional Neural Networks for Texture Classi cation
arXiv preprint arXiv:1601.02919, 2015
20160201_rtamura

深層学習は,過去10年間で,物体認識,場面認識,音声認識のような分野において数多くの新しい最高水準の技術的解決を記録している.特に,ConvolutionalNeuralNetwork(CNN)は物体検出や認識タスクにおいて優秀な成果を出している深層学習の一種である.CNNの構造は,物体のパーツや物体そのものを意味する本質的な特徴を学習と分類を行うことで,物体の解析に実によく適している.しかしながら,一部の物体の特徴はテクスチャ解析方法と非常に類似している.CNNの層は,層の増加により,複雑性のフィルタバンクとしてみなすことができる.フィルタバンクは,テクスチャ解析において,テクスチャの特徴量抽出の強力なツールであり,広く利用されている.本稿では,この見解を調査するために,テクスチャCNN(T-CNN)と呼ばれる,シンプルなネットワーク構造を開発する.標準的なCNNの全結合層によって抽出される全体的な形状情報はテクスチャ解析においてあまり重要ではないという考えがある.したがって,我々は全結合層に接続する最後の畳み込み層からエネルギー尺度を格納する.我々は,この提案手法がネットワークの性能を向上させ,その上,大いにメモリ使用量と計算量を減少させた.