深層学習 勉強会 第１回資料(作成途中)

深層学習 勉強会 第１回資料(作成途中)

• 1.
  深層学習 Chapter1 はじめに Chapter2 順伝播型ネットワーク S5lab. M1 Shuji Mihara
• 2.
  Chapter1. はじめに 1
• 3.
  深層学習(Deep Learning)とは？ 2 多層のニューラルネットワーク(以下NN)を用いた学習法の総称. ・ 畳込みNN (Convolutional Neural Network, CNN) →主に画像処理分野で使用 ・ 再帰型NN (Recurrent Neural Network, RNN) →主に自然言語処理や音声認識で使用 (Example)
• 4.
  深層学習(Deep Learning)とは？ 3 多層のニューラルネットワーク(以下NN)を用いた学習法の総称. ・ 畳込みNN (Convolutional Neural Network, CNN) →主に画像処理分野で使用 ・ 再帰型NN (Recurrent Neural Network, RNN) →主に自然言語処理や音声認識で使用 (Example) ←6章 ←7章 ↑2章
• 5.
  4  深層学習の基礎となったテクニック • 確率的勾配効果法(StochasticGradient Descent, SGD) • 誤差逆伝播法(Back Propagation) • 自己符号化器(Auto Encoder) • 制約ボルツマンマシン(Restricted Boltzmann Machine, RBM)
• 6.
  5  深層学習の基礎となったテクニック • 確率的勾配効果法(StochasticGradient Descent, SGD) • 誤差逆伝播法(Back Propagation) • 自己符号化器(Auto Encoder) • 制約ボルツマンマシン(Restricted Boltzmann Machine, RBM) ←3章 ←4章 ←5章 ←8章
• 7.
  深層学習(NN)の歴史 6
• 8.
  従来の多層NNの問題点 7
• 9.
  参考文献・関連論文など 8 • PRML5章ニューラルネットワーク • 人工知能学会誌 連載解説 「Deep Learning(深層学習)」 • IBIS 2013 企画セッション2 Deep Learning • データサイエンティスト養成読本 機械学習入門編 特集 「深層学習最前線」 • 人工知能は人間を超えるか? –ディープラーニングの先 にあるもの Oreillyからも11月後半にも本がでるみたいです.
• 10.
  実装のためのライブラリ 9 Caffe, Theano,Torch7, Pylearn2, Chainerなど Chainerが一番日本語資料が充実している印象. 開発元のPreferred InfrastructureがSlideShareにたくさん スライドを上げてくれてる.
• 11.
  関連して興味ある論文 10 ベイズ学習に深層学習の手法取り入れる方法はおもしろそうです. (まだちゃんと読めてない) Gu, Shixiang,Richard E. Turner, and Zoubin Ghahramani. "Neural Adaptive Sequential Monte Carlo." arXiv preprint arXiv:1506.03338 (2015). Gal, Yarin, and Zoubin Ghahramani. "Dropout as a Bayesian approximation: Insights and applications." Deep Learning Workshop, ICML. 2015. Patel, Ankit B., Tan Nguyen, and Richard G. Baraniuk. "A Probabilistic Theory of Deep Learning." arXiv preprint arXiv:1504.00641 (2015).
• 12.
  11
• 13.
  Chapter2. 順伝播型ネットワーク 12
• 14.
  順伝播型ネットワーク(feedforward network)13 ユニットが隣接層間でのみ結合した構造を持ち, 情報が入力側から出力 側へ1方向のみに伝搬するNN.以下ではfNNと略する. (隠れ層)
• 15.
  fNNで扱う問題の例 14 ・回帰問題
• 16.
  fNNで扱う問題の例 15 ・多値分類問題
• 17.
  順伝播型ネットワーク(feedforward network)16 ユニットが隣接層間でのみ結合した構造を持ち, 情報が入力側から出力 側へ1方向のみに伝搬するNN. 1つのユニットに注目
• 18.
  ユニットの構造(≒パーセプトロン) 17 𝑢 𝑧 𝑥1 𝑥2 𝑥3 𝑥4 𝑧 前の層からの入力 次の層への出力 𝑢= 𝑤1 𝑥1 + ⋯ + 𝑤4 𝑥4 + 𝑏 𝑧 = 𝑓(𝑢) 𝑓: 非線形関数 (活性化関数と呼ばれる)
• 19.
  fNNの層の構造 18 𝑢2 𝑧2 𝑥1 𝑥2 𝑥3 𝑥4 𝑧2 𝑢3𝑧3 𝑢1 𝑧1 𝑧1 𝑧3 前の層からの入力 次の層への出力 𝒖 = 𝑊𝒙 + 𝒃 𝒛 = 𝑓(𝒖)
• 20.
  活性化関数 19 問題設定によって適切な活性化関数を選択する必要がある. ＜典型的な活性化関数＞ ロジスティックシグモイド関数 双曲線正接関数 正規化線形関数 ソフトマックス関数 マックスアウト関数
• 21.
  多層ネットワークの表記 20 𝑥1 𝑥2 𝑥3 𝑥4 𝑦1 𝑦2 𝑙 =1 2 3 𝑢(𝑙+1) = 𝑊(𝑙+1) 𝑧(𝑙) +𝑏(𝑙+1) 𝑧(𝑙+1) = 𝑓(𝑢(𝑙+1)) パラメータは 結合重み 𝑊(𝑙)とバイアス 𝑏(𝑙) まとめて列ベクトル𝑤で表すと ネットワークを表現する関数は 𝑦 𝑥; 𝑤 とかける.
• 22.
  学習の枠組み 21 fNNは誤差関数を最小化するパラメータを求める教師あり学習 ( 𝑥𝑛, 𝑑 𝑛 ) データ 望ましい出力(教師信号) 必要に応じて手作業でラベリング 誤差関数や出力層の活性化関数は問題の種別により異なる. 問題の種別 出力層の活性化関数 誤差関数 回帰 恒等写像 二乗誤差 式(2.6) 二値分類 ロジスティック関数 式(2.8) 多値分類 ソフトマックス関数 交差エントロピー 式 (2.11)
• 23.
  NNを使った回帰学習 22
• 24.
  NNを使った2値分類学習 23
• 25.
  NNを使った多クラス分類学習 24