Submit Search
深層学習 - 画像認識のための深層学習 ①
5 likes
950 views
Shohei Miyashita
2016年4月頃に作成したスライド
Engineering
Related topics:
Convolutional Neural Network
•
Neural Networks
•
Deep Learning
Read more
1 of 87
Download now
Downloaded 16 times
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
More Related Content
PDF
深層学習 - 画像認識のための深層学習 ②
Shohei Miyashita
PPTX
Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images...
Kento Doi
PDF
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
Deep Learning JP
PPTX
[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
Kento Doi
PDF
[DL輪読会]BANMo: Building Animatable 3D Neural Models from Many Casual Videos
Deep Learning JP
PDF
Semantic Segmentation Review
Takeshi Otsuka
PPTX
SfM Learner系単眼深度推定手法について
Ryutaro Yamauchi
PDF
Perception distortion-tradeoff 20181128
Masakazu Shinoda
深層学習 - 画像認識のための深層学習 ②
Shohei Miyashita
Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images...
Kento Doi
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
Deep Learning JP
[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
Kento Doi
[DL輪読会]BANMo: Building Animatable 3D Neural Models from Many Casual Videos
Deep Learning JP
Semantic Segmentation Review
Takeshi Otsuka
SfM Learner系単眼深度推定手法について
Ryutaro Yamauchi
Perception distortion-tradeoff 20181128
Masakazu Shinoda
Similar to 深層学習 - 画像認識のための深層学習 ①
(20)
PPTX
Image net classification with Deep Convolutional Neural Networks
Shingo Horiuchi
PPTX
Deep Learningについて(改訂版)
Brains Consulting, Inc.
PPTX
深層学習の数理:カーネル法, スパース推定との接点
Taiji Suzuki
PPTX
[DL輪読会]Collective dynamics of repeated inference in variational autoencoder r...
Deep Learning JP
PPTX
MIRU2014 tutorial deeplearning
Takayoshi Yamashita
PPTX
深層学習①
ssuser60e2a31
PDF
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Ohsawa Goodfellow
PDF
DEEP LEARNING、トレーニング・インファレンスのGPUによる高速化
RCCSRENKEI
PPTX
Icml2019 kyoto ohno_ver20190805
Shuntaro Ohno
PDF
アンサンブル木モデル解釈のためのモデル簡略化法
Satoshi Hara
PDF
機械学習
Hikaru Takemura
PDF
NN, CNN, and Image Analysis
Yuki Shimada
PDF
20130925.deeplearning
Hayaru SHOUNO
PPTX
エンジニアのための機械学習の基礎
Daiyu Hatakeyama
PDF
Deep learning入門
magoroku Yamamoto
PDF
SSII2022 [TS3] コンテンツ制作を支援する機械学習技術〜 イラストレーションやデザインの基礎から最新鋭の技術まで 〜
SSII
PDF
E-SOINN
SOINN Inc.
PPTX
RBMを応用した事前学習とDNN学習
Masayuki Tanaka
PPTX
令和元年度 実践セミナー - Deep Learning 概論 -
Yutaka KATAYAMA
PDF
Or学会用20160915.ver2
Ryoma Nakagawa
Image net classification with Deep Convolutional Neural Networks
Shingo Horiuchi
Deep Learningについて(改訂版)
Brains Consulting, Inc.
深層学習の数理:カーネル法, スパース推定との接点
Taiji Suzuki
[DL輪読会]Collective dynamics of repeated inference in variational autoencoder r...
Deep Learning JP
MIRU2014 tutorial deeplearning
Takayoshi Yamashita
深層学習①
ssuser60e2a31
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Ohsawa Goodfellow
DEEP LEARNING、トレーニング・インファレンスのGPUによる高速化
RCCSRENKEI
Icml2019 kyoto ohno_ver20190805
Shuntaro Ohno
アンサンブル木モデル解釈のためのモデル簡略化法
Satoshi Hara
機械学習
Hikaru Takemura
NN, CNN, and Image Analysis
Yuki Shimada
20130925.deeplearning
Hayaru SHOUNO
エンジニアのための機械学習の基礎
Daiyu Hatakeyama
Deep learning入門
magoroku Yamamoto
SSII2022 [TS3] コンテンツ制作を支援する機械学習技術〜 イラストレーションやデザインの基礎から最新鋭の技術まで 〜
SSII
E-SOINN
SOINN Inc.
RBMを応用した事前学習とDNN学習
Masayuki Tanaka
令和元年度 実践セミナー - Deep Learning 概論 -
Yutaka KATAYAMA
Or学会用20160915.ver2
Ryoma Nakagawa
Ad
深層学習 - 画像認識のための深層学習 ①
1.
1 画像認識 深層学習 深層学習 (人工知能学会)
第 章
2.
2 担当範囲 1. 階層 ュー
ワー 深層学習(田代) 2. 深層 ン ン(扱わ い) 3. 事前学習 周辺(高橋) 4. 大規模深層学習 実現技術(山内) 5. 画像認識 た 深層学習
3.
3 発表 目標 1. 画像認識
深層学習 背景 知 2. 畳 込 ュー ワー (CNN) 理解 3. CNN 用い 画像認識 や 方 理解 4. CNN 知 5. 教師 学習 画像認識 手段 知
4.
4 画像認識分野 深層学習 話
5.
5 深層学習 画像認識 Krizhevsky
多層NN 一般物体認識 ン 他 圧倒的差 勝利 一般物体認識 1枚 画像 映 物体 答え 分類(Classifier) Youtube 動画 無作為 切 出 画像1000万枚 使 学習 多層NN 中間層 お あさん細胞 再現
6.
6 ばあ 細胞 人間 何
認識 際 事象 対 専用 ュー ン あ 、 活性化 事象 あ 認識 い い ? いう仮説
7.
7 畳み込みニュー ネッ ワー
再発見 深層学習 画像認識 ン ー 畳み込みニュー ワー (CNN) 重要 80年代末 LeCun 多層CNN 学習 成功 文字認識 適用 高い性能 挙 い Krizhevsky 利用 多層NN 代表 現在 CNN 構造 び 学習方法 80年代 CNN ほ 変わ い CNN 改 注目 う 、 いう 正 い
8.
8 後 研究 研究 方向性 1.
CNN 適用範囲 拡大 画像分野以外 成果 ? 2. 学習 大規模化 訓練 ー 等 用い 、 多層 3. 高性能 理由 探求 CNN い ?
9.
9 畳み込みニュー ネッ ワー 画像認識
骨幹 成
10.
10 基本構造 畳 込 NN
= Convolution Neural Network CNN 特徴 畳み込み層 びプー ン 層 呼ぶ特殊 層 交互 接続 構造 持 特徴 除 CNN 普通 ィー ワー 型 NN 何 変わ い
11.
11 ー ーワー ニュー
ネッ ワー 日本語 順伝播型ニュー ワー 単一方向 信号 伝搬 入力 出力
12.
12 畳み込みニュー ネッ ワー
例 ⋮ 畳 込 プー ン 畳込 プー ン 繰 返 全結合 S N S 𝑆 画素 大 × 𝑆 × 数
13.
13 畳み込みニュー ネッ ワー
例 最終層 出力 以下 ソ 関数 処理 𝑝 = ⋮ 𝑝 , 𝑝 , … , 𝑝 𝑝 個 分類 際 番目 分類 確率 ソ 関数
14.
14 ニュー ネッ ワー
見 入力( ー ー ) 縦 × 横 × 数 × × = 入力層 ー 数 : 1024 32 32 畳 込 層 ー 数 : 900 × 畳 込 プー ン 層 ー 数 : 450 全結合層 ー 数 : 100 プー ン
15.
15 畳み込み層 入力 縦横
𝑆 × 𝑆画素 持 ー 数 、例え 、一般的 画像 RGBA 持 , , ∈ , 𝑆 − × [ , 𝑆 − ] × [ , ] × 画素 , , ∈ , − × [ , − ] × [ , ] 畳 込 層 1 対 出力 𝑆′ × 𝑆′画素 , ∈ , 𝑆′ − × [ , 𝑆′ − ]
16.
16 畳み込み層 け タ1つ
対 計算 入力 畳 込 演算結果 = ∙ − , − , , ∈𝒫= + 𝒫 ={画素( , ) 頂点 × 領 域} 各 毎 全出力 ー 同一( = ) 畳 込 S S N N L L 1 S’ S’
17.
17 畳み込み層 け タ1つ
対 計算 畳 込 演算 計算結果 活性化関数 経 畳 込 層 出力 CNN い 活性化関数 一般 的 ReLU関数 用い ReLU関数 : = max , 1 S’ S’ 1 S’ S’ ∙
18.
18 畳み込み層 出力 前述 対
演算 数 行 結果 畳 込 層 出力 、出力 数 枚数 等 い 畳 込 ′枚 出力 : 𝑆′ × 𝑆′ × ′
19.
19 (参考)画像 タ 畳み込
み − − − − ー ープ ・ ー ( 歳)ー ( 歳)
20.
20 画像 チャネ 数 透明
部分 い画像( 撮 写真 ) 基本的 RGB 持 赤 緑 青
21.
21 畳込み 1 セ
処理 − − − − 周囲8 関係性 新 い値 決 ( 計算 行う)
22.
22 様々 ター 畳込み − −
. . . . . . . . . − : 128
23.
23 畳み込み層 単層ネッ ワー 計算
特殊 形 層間 ー 結 単層 ワー 表現 特殊 形 結合 上位層 各 ー 下位層 ー 一部 結合 結合 重 各 ー 間 共通 あ
24.
24 受容 局所的 上位層 各
ー 下位層 ー 一部 結合 上位層 対応 影響範囲 赤色 領域 ー 結合 、 え 領域 以外 部分 変わ 部 分 影響 い! 上位層 下位層
25.
25 み共通 結合 重
各 ー 間 共通 重 あ 、 共通 画像全体 − − − − 共通 画像全体 !
26.
26 プー ン 層 畳
込 層 対 使わ 、畳 込 層 出力 層 入力 プー ン 層 目的 プー ン 行う 堅牢性(Robustness) 高 、画像内 現 特徴 微小 位置変化 対 応答 不変性 実現
27.
27 全 画素 対
演算 行う 、 置 演算 行う 場合 あ 、 いう 紹介 畳 込 演算 全 暗黙的 1 置 演算 行う 、出力層 ー 数 倍 𝑆 × 𝑆 × = 𝑆 × 𝑆 ×
28.
28 プー ン 処理 プー
ン 以上 値 設定 、縦横方向 間引 = 出力画像 縦横 長 半分 長 プー ン 縦横 長 半分 出力 ー 数 倍 !
29.
29 プー ン 手法 1.
平均プー ン (average pooling) 受容野 値 平均値 出力 2. 最大プー ン (max pooling) 一番大 い値 出力 3. プー ン ( pooling) = 𝒫 𝑃 𝒫 𝑃 従 出力
30.
30 プー ン 層
単層ネッ ワー プー ン 層 学習 よっ 変化す 重み 存在し い 平均プー ン 以外 通常 ー 入出力関係 表現 い ∵ 重 表現 い 初期 CNN 平均プー ン 用い 、最近 一般的 最大プー ン 使用
31.
31 CNN 学習 教師あ 学習
学習 行う 標準的 ー ワー 型 NN 学習 変わ い 事前学習 プー ン 存在 一般的 い 学習 ー ベ 付 ンプ 集合 対象 、各 ンプ 分類誤差 最小化 う 学習 行う
32.
32 交差 ン ロ
ー 分類誤差 測 手段 入力 ンプ 対 理想的 出力 , … , 実際 CNN 出力 𝑝 , … , 𝑝 乖離 以下 交差 ン ロ ー 測 = − log 𝑝 = F = log
33.
33 学習 メータ 交差 ン
ー 小 う 以下 値 調整 各畳込 層 係数 各畳 込 層各 ー 全結合層 重
34.
34 学習 流 交差 ン
ー 最小化 確率的勾配降下法 用い 重 や 関 誤差勾配 誤差逆伝搬法 計算 普通 NN 変わ い 最大プー ン 逆伝搬計算 例外 順伝搬時 ー 選 記憶 、逆伝搬時 選 ー 結合 い う 重 ベ 使う CNN ニ チ 学習 行う
35.
35 誤差 計算 み
更新 手段 学習 前学習 ー 用い 、誤差 平均 一気 重 更新 ン ン学習 ー 毎 逐次更新 行う 学習 全学習 ー 中 個 幾 ンプ 取 出 ー 対 更新 行う
36.
36 ッチ学習 誤差 平均
学習 ー 詳解 = , ⋮ , 入力 対 最終層 出力 𝒕 = , ⋮ , 正解 ー 𝑬 = 𝒕 − m番目 入力 対 誤差 𝑬 = 𝐸𝑀 = = ⋮ 𝑬 = , − , ⋮ , − , 平均二乗誤差とシグモイド関数 を使っている場合 , ← , + ∆ , ∆ , = 𝜂 ∙ − = = − ∙ ∙ − < [省略] : ー 数, : ー 何番目 , : ー 個数
37.
37 CNN け み
更新 重 更新 , ← , − + ∆ , , : 回更新 あ 上位層 番目 ー 下位層 番目 ー 重 更新量 ∆ , 次 う 決定 ∆ , = − , − + ∆ , − − 𝜆 , − ∆ , − : ン … ー 更新 慣性的 ※前回 更新量 あ 程度加算 慣性的 − 𝜆 , − : 重 減衰 … 重 過剰 大 い う
38.
38 ータ 正規化 一般的 CNN
入力 入力画像 学習 ンプ 平均 減算 使用 事 多い(正規化) 入力画像 、プー ン 層 出力 途中経過 対象 行う場合 あ う 処理 最 一般性 持 局所コン 正規化(local contrast normalization)
39.
39 減算正規化(subtractive normalization) 畳 込
層やプー ン 層 出力 = − ℎ ∙ + , + , あ 画素 , 周 小領域𝒫 全 渡 平均 差 引 ℎ ℎ = 満 重 × 小領域 単純平均(Pinto+) , ー 減衰 ウ 関数(Jarrett+) / / / / / / / / / Pinto Pinto Jarrett
40.
40 標準偏差 求 求
同 画像 範囲 標準偏差 𝜎 以下 う 表 𝜎 = ℎ ∙ + , + , = − ℎ ∙ + , + , ー 平均値 あ 点 値 平均 差 乗 平均 求 手法 ※単純平均 、加重平均 式 複雑 、分散 各 点 い 異 値 取
41.
41 除算正規化(divisive normalization) 求 標準偏差𝜎
用い 更 正規化 求 = / max , 𝜎 処理 除算正規化 呼ぶ ※画像 ー 分散 画像 ン 意味 定数 画像 小 変動 影響 抑え 上記 式以外 + 𝜎 いう関数 使う場合 あ 𝜎 十分大 い 分散1 正規化 、小 何 い いう点 同
42.
42 + 𝜎 or
max , 𝜎 ? 青い直線 : max , 𝜎 赤い直線 : + 𝜎 ン 𝜎 中間 値 取 、 + 𝜎 ほう 滑 切 替わ
43.
43 局所コン 正規化 処理
流 局所コン 正規化 元来 処理 哺乳流 初期視覚野 ュー ン 示 振 舞い 説明 考案 大 範囲 値 扱う際 値 飽和 い う 正規化 行う 画像認識 多層NN 局所 ン 正規化 用い い 、単純 適応的局所 ン調整以上 効果 あ う い
44.
44 学習サンプ 集合 対
正規化 学習 ンプ 何 変換 施 全 ンプ 共分散行列 単位行列 う (白色化) 入力値 連続値 取 場合 ウ ーベ ー 型RBM 、学習 ンプ 想定 確率 見合 分布 持 う 平均 分散 補正
45.
45 CNN 強い 従来法 圧倒
結果 生
46.
46 一般物体認識 難 一般物体認識 =
general object recognition 研究自体 90年代 遡 当時 難 解決 相当 時間 思わ 難 い? 画像 映 無視 要素 不変 特徴 抜 出 必要性 類似 区別 識別力
47.
47 従来 一般物体認識 方法 分類
いう問題 特徴抽出 分類 段階 分離 捉え 後半 分類 ー ベ ン ベ 付 ンプ 用い 教師あ 学習 処理 特徴 手動設計 取 出 難 特徴抽出 (手動設計) 分類 (教師あ ) 特徴
48.
48 局所特徴 大域特徴 局所特徴(local feature)画像
局所的 小領域 考え、 濃 淡 特徴量 取 出 言う 画像上 選 多数 小領域 対 別々 局所特徴 抽出 、 符号化 びプー ン 上 、入力画像 枚全 体 特徴量 得 特徴量 大域特徴(global feature) 呼ぶ
49.
49 局所特徴(SIFT 抽出) SIFT(Scale Invariant
Feature Transform) 最 古 、 一番良 使わ い 手法 、2 プ 構成 1. 画像内 ほ 特別 や い顕著 特徴 持 点 選び出 、同時 周囲 局所的 濃淡構造 大 従 見 領域 大 向 決定 * 2. 領域内部 濃淡構造 表 特徴量 取 出 *物体認識 局所領域 位置・大 ・向 格子状 機械的 取 多い
50.
50 他 局所特徴 抽出方法 SIFT
変わ 数多 局所特徴 提案 、 性能向上 度合い そ ほ 大き い 提案 中 わ い 段階 経 特徴 抽出 必要 あ あ 局所領域 対 、複数 並列 適用 、 結果 何 非線形関数 適用 、 後プー ン 行う いう構造
51.
51 符号化 抽出 局所特徴 対
符号化(Encode) 、 付 行う ュ ワー 自然画像 多様性 極 大 い 、 局所部分 多様性 ほ 、有限(数百〜数千) 典型例 類型化 仮定 典型例 ュ ワー 名付 多数 画像 多数 点 取 出 特徴量 集合 対 、 ン 実行 、得 数百〜数千程度 中心 得 代 表ベ ュ ワー
52.
52 Bag of Features 予
用意 い ュ ワー 用い 画像 枚全体 表現 得 方法 い あ 、最 基本 bag-of-features 用い 各点 局所特徴 同 特徴空間 代表点 あ ュ ワー う 最近傍 置 換え 量子化 犬 猫 う ュ ワー 局所特徴 う い
53.
53 プー ン 符号化 画像
特徴 帯域特徴 得 局所特徴 大域特徴局所特徴 局所特徴 う う 局所特徴 抽出 符号化 プー ン
54.
54 従来法 成功 理由 以上
方法 一般物体認識 対 、 以前 予想 覆 成功 収 理由 プー ン い 、局所特徴 位置情報 潔 捨 あ 同一 見 目 変動 対 不変性 実現 、識別力 局所特徴 依存 為、明 限界 あ
55.
55 従来法 CNN 比較 従来法
CNN 共通点 従来法 局所特徴 抽出→プー ン いう手順 CNN 畳 込 層→プー ン 層 いう手順 極 似 い 従来法 CNN 相違点 従来法 局所特徴 抽出 際 設計 決 、 CNN ( ) 学習 決定 、CNN 第 層 学習 経験的 設計 従来法 大 違わ い
56.
56 CNN 学習 タ 上
図 MNIST 学習 CNN 段階目 自然画像 入力 場合 学習 ガボー ィ タ 類似 無色 色や色 変化 関 分 事 多い
57.
57 ガ ー タ ガボー
ィ タ 向 概念 持 、 あ 画像中 向 線 含 い 抽出 あ 具体的 次元 ン波 次元 ウ 関数 積 生成 ー 例 ー 適用例
58.
58 従来法(SIFT) 採用 い
計算 SIFT 8方向 勾配方向 計算 行 い CNN 学習 用い 畳 込 行う 同様 働 考え CNN 色 関 同時 得 、従来法 SIFT 別 色 特徴 抽出 使用 い 従 、 段階目 計算 従来法 CNN 大 差 い 思え
59.
59 従来法 大 壁 局所特徴
抽出 う 入力 近い層 工学的 設計 、CNN 学習 発見 中〜上位層 特徴 同 う 設計 従来法 CNN 性能 分 理由 あ 言え
60.
60 ネッ ワー 構造
認識性能 CNN 高い性能 示 理由 従来法 違い 求 CNN 多層性 CNN 構造 (画像 取 出 特徴 学習 獲得 柔軟性 持 ) う 本質的 う ?
61.
61 CNN 構造 理由
あ 考え Jarrett 畳 込 層 ン 値 、 全結合層 学習 多項 回帰 場合 十分 認識率 達成 事 示 全結合層 学習 場合 : 53.3% 学習 場合 : 54.8% ※ 、 学習サンプ 数 少 い場合 み あ 、 学習サンプ 十分 あ 場合 、 タ 学習 効果 発揮
62.
62 CNN 部表現 CNN 内部
一体何 表現 い
63.
63 CNN 謎 迫 CNN
成功 鍵 多層構造 、 畳 込 層 プー ン 層 繰 返 構造 有用 、説得力 あ 説明 見 い い 第 層 SIFT 似 い 、働 理解 、 以降 全体 ういう働 い わ い CNN 入力 ー 何 、 う 表現 い う ?
64.
64 可視化 学習後 CNN 角層
何 い 可視化 試 単純 各層 画像 見 多い 、何 読 取 難 い
65.
65 逆畳込みネッ ワー Zeiler 逆畳込
ワー いう独自 考え CNN 中間層 各 ー 何 見 い 可視化 入力画像 成分 注目 ー 出力値 決定 取 出 表示 結果 ワー 層構造 対応 階層性 示
66.
66 階層性 階層 深 連
活性化 ーン 複雑化 斜 線 縦 線 縦 線 横 線 耳 胴体 目 胴体 う 耳 う 胴体 う 目 胴体 楕 五角形 長方形
67.
67 脳神経系 関係 高次視覚野
脳皮質 多点電極 刺 、 状態 自 然画像 見 電極 神経細胞 活性 ーン 記録 学習済 CNN 同 画像 入力 、上位層 ー 活性 ーン 記録 CNN 取 出 活性 ーン 用い 神経細胞 振 舞い 回帰 高い精度 予測 可能
68.
68 転移学習 CNN 含 多層NN
魅力 学習 通 入力 ー 良い特徴 取 出 う 多層NN 学習 魅力的 性質 う あ あ 程度異 認識 間 学習 特徴 共通性 あ
69.
69 多層NN 階層性 逆CNN 項
述 う 多層NN 学習 特徴 層構造 対応 階層性 持 下位層 特徴 普遍性 持 異 間 共有 上位層 特徴 依存性 高い 従 、下位層 NN 転移学習 利用 可能性
70.
70 下位層 普遍性 利点 CNN
学習自体 一般物体認識 目的 、 学習 ー 規模 大 新 い認識 学習 う 学習 CNN 取 出 特徴 ー ベ ン等 分類 ー 自由度 減少 、必要 学習 ー 規模 小 い 方法 達成 認識精度 数多 認識 い 従来法 凌 高い わ い
71.
71 教師 学習 画像認識 自己符号化器
多層 ワー
72.
72 単層自己符号化器 局所特徴 学習 学習
局所領域( チ) 対象 行う 局所領域 特徴 学習 ー ソウ 3 特徴抽出
73.
73 自己符号化器 い 得 入力
ー 次元削減(Dimensional Reduction) 目標 教師 学習 次元縮退 要 、入力 特徴 適切 抜 出 主 目的 い 順方向 逆 方向 伝搬 元 信号 近 う 重 学習 行う
74.
74 単層自己符号化器 局所特徴 学習 具体的
方法 ー ー ン 独立成分分析 再構成型TICA(Topographic Independent Component Analysis) ー 自己符号化器 ー RBA(Restricted Boltzmann Machine) 名前 紹介 、具体的内容 割愛…
75.
75 ー 自己符号化器 ワー
構成 入力層 ー 数 : 𝑆 × 𝑆個 S S 入力画像 切 出 出力層 ー 数 : < 𝑆 × 𝑆 個 𝑾 𝒏𝒆𝒕 𝒏𝒆𝒕 = 𝑾 + 𝒃 ロ ティ 関数 𝒃
76.
76 ロ ッ 関数 = +
𝑥 −𝑥 関数 種 = , = , = 左図 ー 適当 設定 関数
77.
77 ー 自己符号化器 自己符号化器 以下
う 表 𝒊 − 𝟐 𝒊 最小化 = 𝑾 + 𝒃 = 𝑾 + 𝒃 自己符号化器 ー 正則化 加え ー 性 : 0 い値 事 少 う 出力層 ー 入力毎 活性化 う 制約
78.
78 ー 自己符号化器 𝒊 −
𝟐 𝒊 + 𝜌 ||𝜌 #ofunits = ー 正規化項 𝜌 ||𝜌 = 𝜌 log 𝜌 𝜌 + − 𝜌 log −𝜌 −𝜌 𝜌 : 全学習 ンプ 渡 ー 平均活性度 𝜌 = 𝜌 : 平均活性度 目標値
79.
79 ー 自己符号化器 使用例 CIFAR-10*
対象 局所特徴 抜 出 特徴 教師あ 学習 組 合わ 目的 実行 *一般物体認識 ー (http://www.cs.tronto.edu/~kriz/cifar.html)
80.
80 多層ネッ ワー 特徴学習 先ほ
ー 自己符号化器 例 単層 ワー 単層 ワー 何層 積 上 積層自己符号化器 使 同様 教師 特徴学習 行う 考え 視覚野 V2領域 ュー ン 取 出 言わ い ー ーや ン ョン上 画像特徴 層 深層信念 ワー 学習 獲得 いう報告 RBM 、 個積 上 深層 ン ン(DBM) 使 特 徴学習 行 結果MNIST 当時最高水準 認識性能
81.
81 深層 学習…? 先ほ 例
う 学習 高々 , 層程度 ワー あ 、層数 増や 性能差 対 認 い場合や 層 方 性能 高い場合 多層性 効果 示 い い
82.
82 畳み込み層 プー ン
層 持 べ 教師 学習 興味深い結果 CNN同様 畳 込 層 プー ン 層 持 ワー 使 得 1. 畳み込み深層信念 ワー 2. 再構成型トポ ラフィッ 独立成分分析
83.
83 畳み込み深層信念ネッ ワー 畳 込
深層信念 ワー = Convolutional deep belief network CNN同様 畳 込 層 プー ン 層 交互積 重 構造 持 ワー 持 ボ ン ン 畳 込 層 ー 間結合 疎 ー 間 重 共有 形 特殊 RBM ー 正則化 適用 各 ー 振 舞い 確率的 記述 確率的最大プー ン 新 導入 自然画像 対象 教師 学習 行 階層的 特徴 学習
84.
84 ッ 独立成分分析 入力層、中間層、出力層 層 構造
NN 用い 特徴学習 出力層 ー ー 活性化 う 𝑊 最適化 𝑊 以下 制約 加え 𝑊𝑊 𝑇 = 𝐼 入力層 𝑾 中間層 出力層 プー ン 層
85.
85 ッ 独立成分分析 TICA 以下
う 表 min 𝑊 + + 局所 ン 正規化 時 出 関数 、 小 値 無視 大 値 正規化 事
86.
86 再構成型 ッ 独立成分分析 標準的
TICA 𝑊𝑊 𝑇 = 𝐼 制約 中間層 ー 数 入 力層 小 い 前提 あ TICA 冗長 特徴 表現 い 再構成型TICA(reconstruction TICA) 自己符号化器同様 再構成誤差 最小化 TICA 組 込 方法 TICA 重 対 直交性 制約 再構成誤差 最小化 置 換え 形→冗長 基底 学習 可能
87.
87 教師 学習 畳込み
プー ン 必要性 前述 、教師 学習 畳 込 層やプー ン 層 構造 埋 込 良い結果 得 うい 構造 持 い場合 大 画像 扱う場合 ワー 規模 大 いう欠点 あ 、 畳 込 層 構造 必要 理由 無い う 思わ
Download