SlideShare a Scribd company logo
1
画像認識 深層学習
深層学習 (人工知能学会) 第 章
2
担当範囲
1. 階層 ュー ワー 深層学習(田代)
2. 深層 ン ン(扱わ い)
3. 事前学習 周辺(高橋)
4. 大規模深層学習 実現技術(山内)
5. 画像認識 た 深層学習
3
発表 目標
1. 画像認識 深層学習 背景 知
2. 畳 込 ュー ワー (CNN) 理解
3. CNN 用い 画像認識 や 方 理解
4. CNN 知
5. 教師 学習 画像認識 手段 知
4
画像認識分野 深層学習 話
5
深層学習 画像認識
 Krizhevsky 多層NN 一般物体認識 ン
他 圧倒的差 勝利
 一般物体認識 1枚 画像 映 物体 答え
分類(Classifier)
 Youtube 動画 無作為 切 出 画像1000万枚 使 学習
多層NN 中間層 お あさん細胞 再現
6
ばあ 細胞
人間 何 認識 際 事象 対 専用 ュー ン
あ 、 活性化 事象 あ 認識 い
い ? いう仮説
7
畳み込みニュー ネッ ワー 再発見
 深層学習 画像認識 ン ー
畳み込みニュー ワー (CNN) 重要
 80年代末 LeCun 多層CNN 学習 成功
文字認識 適用 高い性能 挙 い
Krizhevsky 利用 多層NN 代表 現在 CNN 構造 び
学習方法 80年代 CNN ほ 変わ い
CNN 改 注目 う 、 いう 正 い
8
後 研究
研究 方向性
1. CNN 適用範囲 拡大
画像分野以外 成果 ?
2. 学習 大規模化
訓練 ー 等 用い 、 多層
3. 高性能 理由 探求
CNN い ?
9
畳み込みニュー ネッ ワー
画像認識 骨幹 成
10
基本構造
畳 込 NN = Convolution Neural Network
CNN 特徴
畳み込み層 びプー ン 層 呼ぶ特殊 層 交互 接続
構造 持
特徴 除 CNN 普通 ィー ワー 型 NN
何 変わ い
11
ー ーワー ニュー ネッ ワー
日本語 順伝播型ニュー ワー
単一方向 信号 伝搬
入力 出力
12
畳み込みニュー ネッ ワー 例
⋮
畳 込 プー ン
畳込 プー ン
繰 返
全結合
S
N
S
𝑆 画素 大 × 𝑆 × 数
13
畳み込みニュー ネッ ワー 例
最終層 出力 以下 ソ 関数 処理
𝑝 =
⋮ 𝑝 , 𝑝 , … , 𝑝
𝑝 個 分類 際
番目 分類 確率
ソ 関数
14
ニュー ネッ ワー 見
入力( ー ー )
縦 × 横 × 数
× × = 入力層
ー 数 :
1024
32
32
畳 込 層
ー 数 :
900
×
畳 込
プー ン 層
ー 数 :
450
全結合層
ー 数 :
100
プー ン
15
畳み込み層
 入力 縦横 𝑆 × 𝑆画素
持 ー 数 、例え 、一般的 画像
RGBA 持
, , ∈ , 𝑆 − × [ , 𝑆 − ] × [ , ]
 × 画素
, , ∈ , − × [ , − ] × [ , ]
 畳 込 層 1 対 出力 𝑆′ × 𝑆′画素
, ∈ , 𝑆′ − × [ , 𝑆′ − ]
16
畳み込み層 け タ1つ 対 計算
入力 畳 込
演算結果
= ∙ − , − ,
, ∈𝒫=
+
𝒫 ={画素( , ) 頂点 × 領
域}
各 毎
全出力 ー 同一( = )
畳 込
S
S
N
N
L
L
1
S’
S’
17
畳み込み層 け タ1つ 対 計算
畳 込 演算 計算結果
活性化関数 経 畳 込 層
出力
CNN い 活性化関数 一般
的 ReLU関数 用い
ReLU関数 : = max⁡ ,
1
S’
S’
1
S’
S’
∙
18
畳み込み層 出力
前述 対 演算
数 行 結果 畳
込 層 出力
 、出力 数
枚数 等 い
畳 込
′枚
出力 : 𝑆′ × 𝑆′ × ′
19
(参考)画像 タ 畳み込 み
−
− −
−
ー
ープ ・ ー ( 歳)ー ( 歳)
20
画像 チャネ 数
透明 部分 い画像( 撮 写真 ) 基本的
RGB 持
赤 緑 青
21
畳込み 1 セ 処理
−
− −
−
周囲8 関係性 新
い値 決 ( 計算 行う)
22
様々 ター 畳込み
−
− . . .
. . .
. . .
−
: 128
23
畳み込み層 単層ネッ ワー
計算 特殊 形 層間 ー 結 単層 ワー
表現
特殊 形 結合
 上位層 各 ー 下位層 ー 一部 結合
 結合 重 各 ー 間 共通 あ
24
受容 局所的
上位層 各 ー 下位層 ー 一部 結合
上位層 対応 影響範囲
赤色 領域 ー 結合
、 え 領域
以外 部分 変わ 部
分 影響 い!
上位層 下位層
25
み共通
 結合 重 各 ー 間 共通
重 あ 、 共通
画像全体
−
− −
−
共通
画像全体 !
26
プー ン 層
畳 込 層 対 使わ 、畳 込 層 出力
層 入力
プー ン 層 目的
プー ン 行う 堅牢性(Robustness) 高
 、画像内 現 特徴 微小 位置変化 対 応答 不変性
実現
27
全 画素 対 演算 行う 、 置 演算 行う
場合 あ 、 いう
紹介 畳 込 演算 全 暗黙的 1
 置 演算 行う 、出力層 ー 数 倍
𝑆
×
𝑆
× = 𝑆 × 𝑆 ×
28
プー ン 処理
プー ン 以上
値 設定 、縦横方向 間引
 = 出力画像 縦横 長
半分 長
プー ン
縦横 長 半分
出力 ー 数 倍 !
29
プー ン 手法
1. 平均プー ン (average pooling)
受容野 値 平均値 出力
2. 最大プー ン (max pooling)
一番大 い値 出力
3. プー ン ( pooling)
=
𝒫
𝑃
𝒫
𝑃
⁡ 従 出力
30
プー ン 層 単層ネッ ワー
プー ン 層 学習 よっ 変化す 重み 存在し い
平均プー ン 以外 通常 ー 入出力関係 表現
い ∵ 重 表現 い
初期 CNN 平均プー ン 用い 、最近
一般的 最大プー ン 使用
31
CNN 学習
教師あ 学習 学習 行う
標準的 ー ワー 型 NN 学習 変わ い
事前学習 プー ン 存在 一般的 い
学習 ー ベ 付 ンプ 集合 対象 、各 ンプ
分類誤差 最小化 う 学習 行う
32
交差 ン ロ ー
分類誤差 測 手段
 入力 ンプ 対 理想的 出力 , … ,
 実際 CNN 出力 𝑝 , … , 𝑝
乖離 以下 交差 ン ロ ー 測
= − log 𝑝
=
F = log⁡
33
学習 メータ
交差 ン ー 小 う 以下 値 調整
 各畳込 層 係数
 各畳 込 層各 ー
 全結合層 重
34
学習 流
交差 ン ー 最小化 確率的勾配降下法 用い
重 や 関 誤差勾配 誤差逆伝搬法 計算
普通 NN 変わ い 最大プー ン 逆伝搬計算 例外
順伝搬時 ー 選 記憶 、逆伝搬時 選
ー 結合 い う 重 ベ 使う
CNN ニ チ 学習 行う
35
誤差 計算 み 更新 手段
 学習
前学習 ー 用い 、誤差 平均 一気 重 更新
 ン ン学習
ー 毎 逐次更新 行う
 学習
全学習 ー 中 個 幾 ンプ 取 出
ー 対 更新 行う
36
ッチ学習
 誤差 平均 学習 ー 詳解
=
,
⋮
,
入力 対
最終層 出力
𝒕 =
,
⋮
,
正解 ー
𝑬 = 𝒕 −
m番目 入力
対 誤差
𝑬 =
𝐸𝑀
=
= ⋮
𝑬 =
, − ,
⋮
, − ,
平均二乗誤差とシグモイド関数
を使っている場合
, ← , + ∆ ,
∆ , = 𝜂 ∙
−
=
= − ∙ ∙ −
< [省略]
: ー 数, : ー 何番目 , : ー 個数
37
CNN け み 更新
 重 更新 , ← ,
−
+ ∆ ,
, : 回更新 あ 上位層 番目 ー 下位層 番目 ー 重
 更新量 ∆ , 次 う 決定
∆ , = −
,
−
+ ∆ ,
−
− 𝜆 ,
−
 ∆ ,
−
: ン … ー 更新 慣性的
※前回 更新量 あ 程度加算 慣性的
 − 𝜆 ,
−
: 重 減衰 … 重 過剰 大 い う
38
ータ 正規化
一般的 CNN 入力 入力画像 学習 ンプ 平均
減算 使用 事 多い(正規化)
入力画像 、プー ン 層 出力 途中経過 対象
行う場合 あ
 う 処理 最 一般性 持
局所コン 正規化(local contrast normalization)
39
減算正規化(subtractive normalization)
畳 込 層やプー ン 層 出力
= − ℎ ∙ + , + ,
あ 画素 , 周 小領域𝒫 全 渡 平均 差 引
 ℎ ℎ = 満 重
 × 小領域 単純平均(Pinto+)
 , ー 減衰 ウ 関数(Jarrett+)
/ / /
/ / /
/ / /
Pinto
Pinto
Jarrett
40
標準偏差 求
 求 同 画像 範囲
標準偏差 𝜎 以下 う 表
𝜎 = ℎ ∙ + , + , = − ℎ ∙ + , + ,
ー 平均値
あ 点 値 平均 差 乗
平均 求 手法
※単純平均 、加重平均
式 複雑 、分散 各
点 い 異 値 取
41
除算正規化(divisive normalization)
求 標準偏差𝜎 用い 更 正規化 求
= / max , 𝜎
 処理 除算正規化 呼ぶ
※画像 ー 分散 画像 ン 意味
定数 画像 小 変動 影響 抑え
上記 式以外 + 𝜎 いう関数 使う場合 あ
𝜎 十分大 い 分散1 正規化 、小 何 い いう点 同
42
+ 𝜎 or max , 𝜎 ?
青い直線 : max , 𝜎
赤い直線 : + 𝜎
ン 𝜎 中間 値 取
、 + 𝜎 ほう 滑
切 替わ
43
局所コン 正規化
 処理 流 局所コン 正規化
元来 処理 哺乳流 初期視覚野 ュー ン 示 振
舞い 説明 考案
大 範囲 値 扱う際 値 飽和 い う 正規化 行う
 画像認識 多層NN 局所 ン 正規化
用い い 、単純 適応的局所 ン調整以上 効果
あ う い
44
学習サンプ 集合 対 正規化
学習 ンプ 何 変換 施
 全 ンプ 共分散行列 単位行列 う (白色化)
 入力値 連続値 取 場合 ウ ーベ ー 型RBM 、学習
ンプ 想定 確率 見合 分布 持 う 平均 分散
補正
45
CNN 強い
従来法 圧倒 結果 生
46
一般物体認識 難
一般物体認識 = general object recognition
研究自体 90年代 遡
当時 難 解決 相当 時間 思わ
 難 い?
 画像 映 無視 要素 不変 特徴 抜 出 必要性
 類似 区別 識別力
47
従来 一般物体認識 方法
分類 いう問題 特徴抽出 分類 段階 分離 捉え
後半 分類 ー ベ ン ベ 付 ンプ 用い
教師あ 学習 処理
特徴 手動設計 取 出 難
特徴抽出
(手動設計)
分類
(教師あ )
特徴
48
局所特徴 大域特徴
局所特徴(local feature)画像 局所的 小領域 考え、 濃
淡 特徴量 取 出 言う
画像上 選 多数 小領域 対 別々 局所特徴 抽出 、
符号化 びプー ン 上 、入力画像 枚全
体 特徴量 得
 特徴量 大域特徴(global feature) 呼ぶ
49
局所特徴(SIFT 抽出)
SIFT(Scale Invariant Feature Transform) 最 古 、
一番良 使わ い 手法 、2 プ 構成
1. 画像内 ほ 特別 や い顕著 特徴 持 点 選び出 、同時
周囲 局所的 濃淡構造 大 従 見 領域 大
向 決定 *
2. 領域内部 濃淡構造 表 特徴量 取 出
*物体認識 局所領域 位置・大 ・向 格子状 機械的 取 多い
50
他 局所特徴 抽出方法
SIFT 変わ 数多 局所特徴 提案 、
性能向上 度合い そ ほ 大き い
 提案 中 わ い 段階 経
特徴 抽出 必要 あ あ
局所領域 対 、複数 並列 適用 、 結果 何
非線形関数 適用 、 後プー ン 行う いう構造
51
符号化
抽出 局所特徴 対 符号化(Encode) 、 付 行う
 ュ ワー
自然画像 多様性 極 大 い 、 局所部分 多様性 ほ
、有限(数百〜数千) 典型例 類型化 仮定
 典型例 ュ ワー 名付
多数 画像 多数 点 取 出 特徴量 集合 対 、
ン 実行 、得 数百〜数千程度 中心 得 代
表ベ ュ ワー
52
Bag of Features
予 用意 い ュ ワー 用い 画像 枚全体 表現 得
方法 い あ 、最 基本 bag-of-features 用い
各点 局所特徴 同 特徴空間 代表点 あ ュ
ワー う 最近傍 置 換え 量子化
犬
猫
う
ュ ワー 局所特徴
う い
53
プー ン
符号化 画像 特徴 帯域特徴 得
局所特徴
大域特徴局所特徴
局所特徴
う
う
局所特徴 抽出 符号化 プー ン
54
従来法 成功 理由
以上 方法 一般物体認識 対 、 以前 予想 覆
成功 収
 理由 プー ン い 、局所特徴 位置情報 潔
捨 あ
同一 見 目 変動 対 不変性 実現
 、識別力 局所特徴 依存 為、明 限界 あ
55
従来法 CNN 比較
従来法 CNN 共通点
従来法 局所特徴 抽出→プー ン いう手順
CNN 畳 込 層→プー ン 層 いう手順 極 似 い
従来法 CNN 相違点
従来法 局所特徴 抽出 際 設計 決 、
CNN ( ) 学習 決定
 、CNN 第 層 学習 経験的 設計 従来法
大 違わ い
56
CNN 学習 タ
上 図 MNIST 学習 CNN 段階目
自然画像 入力 場合 学習 ガボー ィ タ
類似 無色 色や色 変化 関 分
事 多い
57
ガ ー タ
ガボー ィ タ 向 概念 持 、
あ
画像中 向 線 含 い
抽出 あ
具体的 次元 ン波 次元
ウ 関数 積 生成
ー 例
ー 適用例
58
従来法(SIFT) 採用 い 計算
SIFT 8方向 勾配方向 計算 行 い
 CNN 学習 用い 畳 込 行う
同様 働 考え
CNN 色 関 同時 得 、従来法
SIFT 別 色 特徴 抽出 使用 い
 従 、 段階目 計算 従来法 CNN 大 差 い 思え
59
従来法 大 壁
局所特徴 抽出 う 入力 近い層 工学的 設計
 、CNN 学習 発見 中〜上位層 特徴 同
う 設計
 従来法 CNN 性能 分 理由 あ 言え
60
ネッ ワー 構造 認識性能
CNN 高い性能 示 理由 従来法 違い 求
 CNN 多層性
 CNN 構造
(画像 取 出 特徴 学習 獲得 柔軟性 持 )
う 本質的 う ?
61
CNN 構造 理由 あ 考え
Jarrett 畳 込 層 ン 値 、
全結合層 学習 多項 回帰 場合 十分
認識率 達成 事 示
全結合層 学習 場合 : 53.3%
 学習 場合 : 54.8%
※ 、 学習サンプ 数 少 い場合 み あ 、
学習サンプ 十分 あ 場合 、 タ 学習 効果 発揮
62
CNN 部表現
CNN 内部 一体何 表現 い
63
CNN 謎 迫
CNN 成功 鍵 多層構造
、 畳 込 層 プー ン 層 繰 返 構造 有用
、説得力 あ 説明 見 い い
第 層 SIFT 似 い 、働 理解 、
以降 全体 ういう働 い わ い
CNN 入力 ー 何 、 う 表現 い う ?
64
可視化
学習後 CNN 角層 何 い 可視化 試
単純 各層 画像 見 多い
、何 読 取 難 い
65
逆畳込みネッ ワー
Zeiler 逆畳込 ワー いう独自 考え CNN
中間層 各 ー 何 見 い 可視化
入力画像 成分 注目 ー 出力値 決定
取 出 表示
 結果 ワー 層構造 対応 階層性 示
66
階層性
階層 深 連 活性化 ーン 複雑化
斜 線
縦 線
縦 線
横 線
耳
胴体
目
胴体
う 耳
う 胴体
う 目
胴体
楕
五角形
長方形
67
脳神経系 関係
 高次視覚野 脳皮質 多点電極 刺 、 状態 自
然画像 見 電極 神経細胞 活性 ーン 記録
学習済 CNN 同 画像 入力 、上位層 ー 活性
ーン 記録
CNN 取 出 活性 ーン 用い 神経細胞
振 舞い 回帰 高い精度 予測 可能
68
転移学習
CNN 含 多層NN 魅力 学習 通 入力 ー
良い特徴 取 出 う
 多層NN 学習 魅力的 性質 う あ
あ 程度異 認識 間 学習 特徴 共通性 あ
69
多層NN 階層性
逆CNN 項 述 う 多層NN 学習 特徴 層構造
対応 階層性 持
下位層 特徴 普遍性 持 異 間 共有
上位層 特徴 依存性 高い
従 、下位層 NN 転移学習 利用 可能性
70
下位層 普遍性 利点
CNN 学習自体 一般物体認識 目的 、
学習 ー 規模 大
新 い認識 学習 う 学習 CNN 取 出 特徴
ー ベ ン等 分類
ー 自由度 減少 、必要 学習 ー 規模 小 い
 方法 達成 認識精度 数多 認識 い
従来法 凌 高い わ い
71
教師 学習 画像認識
自己符号化器 多層 ワー
72
単層自己符号化器 局所特徴 学習
学習 局所領域( チ) 対象 行う
 局所領域 特徴 学習
ー ソウ 3
特徴抽出
73
自己符号化器 い
得 入力 ー 次元削減(Dimensional Reduction)
目標 教師 学習
次元縮退 要 、入力 特徴 適切 抜 出
主 目的 い
順方向 逆 方向 伝搬 元 信号 近 う
重 学習 行う
74
単層自己符号化器 局所特徴 学習
具体的 方法
 ー ー ン
 独立成分分析
 再構成型TICA(Topographic Independent Component Analysis)
 ー 自己符号化器
 ー RBA(Restricted Boltzmann Machine)
名前 紹介 、具体的内容 割愛…
75
ー 自己符号化器
 ワー 構成
入力層
ー 数 : 𝑆 × 𝑆個
S
S
入力画像
切 出
出力層
ー 数 : < 𝑆 × 𝑆 個
𝑾 𝒏𝒆𝒕 𝒏𝒆𝒕
= ⁡ 𝑾 + 𝒃
ロ ティ 関数
𝒃
76
ロ ッ 関数
=
+ 𝑥 −𝑥
 関数 種
= , = , =
 左図 ー 適当 設定
関数
77
ー 自己符号化器
自己符号化器 以下 う 表
𝒊 − 𝟐
𝒊
最小化 ⁡
= ⁡ 𝑾 + 𝒃
⁡ = 𝑾 + 𝒃
自己符号化器 ー 正則化 加え
 ー 性 : 0 い値 事 少 う
出力層 ー 入力毎 活性化 う 制約
78
ー 自己符号化器
𝒊 − 𝟐
𝒊
+ 𝜌 ⁡||⁡𝜌
#⁡of⁡units
=
ー 正規化項 𝜌 ⁡||⁡𝜌 = 𝜌 log
𝜌
𝜌
+ − 𝜌 log⁡
−𝜌
−𝜌
𝜌 : 全学習 ンプ 渡 ー 平均活性度
𝜌 =
𝜌 : 平均活性度 目標値
79
ー 自己符号化器 使用例
CIFAR-10* 対象 局所特徴 抜 出
 特徴 教師あ 学習 組 合わ 目的 実行
*一般物体認識 ー (http://www.cs.tronto.edu/~kriz/cifar.html)
80
多層ネッ ワー 特徴学習
先ほ ー 自己符号化器 例 単層 ワー
単層 ワー 何層 積 上 積層自己符号化器 使 同様
教師 特徴学習 行う 考え
 視覚野 V2領域 ュー ン 取 出 言わ い ー ーや
ン ョン上 画像特徴 層 深層信念 ワー 学習
獲得 いう報告
 RBM 、 個積 上 深層 ン ン(DBM) 使 特
徴学習 行 結果MNIST 当時最高水準 認識性能
81
深層 学習…?
先ほ 例 う 学習 高々 , 層程度 ワー
あ 、層数 増や 性能差 対 認
い場合や 層 方 性能 高い場合
多層性 効果 示 い い
82
畳み込み層 プー ン 層 持 べ
教師 学習 興味深い結果 CNN同様 畳 込
層 プー ン 層 持 ワー 使 得
1. 畳み込み深層信念 ワー
2. 再構成型トポ ラフィッ 独立成分分析
83
畳み込み深層信念ネッ ワー
畳 込 深層信念 ワー = Convolutional deep belief network
CNN同様 畳 込 層 プー ン 層 交互積 重 構造 持
ワー 持 ボ ン ン
 畳 込 層 ー 間結合 疎 ー 間 重 共有 形 特殊 RBM
 ー 正則化 適用
 各 ー 振 舞い 確率的 記述 確率的最大プー ン 新 導入
自然画像 対象 教師 学習 行
階層的 特徴 学習
84
ッ 独立成分分析
入力層、中間層、出力層 層
構造 NN 用い 特徴学習
出力層 ー ー
活性化 う 𝑊 最適化
 𝑊 以下 制約 加え
𝑊𝑊 𝑇
= 𝐼
入力層
𝑾
中間層 出力層
プー ン 層
85
ッ 独立成分分析
TICA 以下 う 表
min
𝑊
+
 + 局所 ン 正規化 時 出 関数 、
小 値 無視 大 値 正規化 事
86
再構成型 ッ 独立成分分析
標準的 TICA 𝑊𝑊 𝑇
= 𝐼 制約 中間層 ー 数 入
力層 小 い 前提 あ
 TICA 冗長 特徴 表現 い
再構成型TICA(reconstruction TICA) 自己符号化器同様
再構成誤差 最小化 TICA 組 込 方法
TICA 重 対 直交性 制約 再構成誤差 最小化
置 換え 形→冗長 基底 学習 可能
87
教師 学習 畳込み プー ン 必要性
前述 、教師 学習 畳 込 層やプー ン 層
構造 埋 込 良い結果 得
うい 構造 持 い場合 大 画像 扱う場合 ワー
規模 大 いう欠点 あ
、 畳 込 層 構造 必要 理由
無い う 思わ

More Related Content

PDF
深層学習 - 画像認識のための深層学習 ②
PPTX
Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images...
PDF
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
PPTX
[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
PDF
[DL輪読会]BANMo: Building Animatable 3D Neural Models from Many Casual Videos
PDF
Semantic Segmentation Review
PPTX
SfM Learner系単眼深度推定手法について
PDF
Perception distortion-tradeoff 20181128
深層学習 - 画像認識のための深層学習 ②
Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images...
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[DL輪読会]BANMo: Building Animatable 3D Neural Models from Many Casual Videos
Semantic Segmentation Review
SfM Learner系単眼深度推定手法について
Perception distortion-tradeoff 20181128

Similar to 深層学習 - 画像認識のための深層学習 ① (20)

PPTX
Image net classification with Deep Convolutional Neural Networks
PPTX
Deep Learningについて(改訂版)
PPTX
深層学習の数理:カーネル法, スパース推定との接点
PPTX
[DL輪読会]Collective dynamics of repeated inference in variational autoencoder r...
PPTX
MIRU2014 tutorial deeplearning
PPTX
深層学習①
PDF
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
PDF
DEEP LEARNING、トレーニング・インファレンスのGPUによる高速化
PPTX
Icml2019 kyoto ohno_ver20190805
PDF
アンサンブル木モデル解釈のためのモデル簡略化法
PDF
機械学習
PDF
NN, CNN, and Image Analysis
PDF
20130925.deeplearning
PPTX
エンジニアのための機械学習の基礎
PDF
Deep learning入門
PDF
SSII2022 [TS3] コンテンツ制作を支援する機械学習技術​〜 イラストレーションやデザインの基礎から最新鋭の技術まで 〜​
PDF
E-SOINN
PPTX
RBMを応用した事前学習とDNN学習
PPTX
令和元年度 実践セミナー - Deep Learning 概論 -
PDF
Or学会用20160915.ver2
Image net classification with Deep Convolutional Neural Networks
Deep Learningについて(改訂版)
深層学習の数理:カーネル法, スパース推定との接点
[DL輪読会]Collective dynamics of repeated inference in variational autoencoder r...
MIRU2014 tutorial deeplearning
深層学習①
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
DEEP LEARNING、トレーニング・インファレンスのGPUによる高速化
Icml2019 kyoto ohno_ver20190805
アンサンブル木モデル解釈のためのモデル簡略化法
機械学習
NN, CNN, and Image Analysis
20130925.deeplearning
エンジニアのための機械学習の基礎
Deep learning入門
SSII2022 [TS3] コンテンツ制作を支援する機械学習技術​〜 イラストレーションやデザインの基礎から最新鋭の技術まで 〜​
E-SOINN
RBMを応用した事前学習とDNN学習
令和元年度 実践セミナー - Deep Learning 概論 -
Or学会用20160915.ver2
Ad

深層学習 - 画像認識のための深層学習 ①

  • 2. 2 担当範囲 1. 階層 ュー ワー 深層学習(田代) 2. 深層 ン ン(扱わ い) 3. 事前学習 周辺(高橋) 4. 大規模深層学習 実現技術(山内) 5. 画像認識 た 深層学習
  • 3. 3 発表 目標 1. 画像認識 深層学習 背景 知 2. 畳 込 ュー ワー (CNN) 理解 3. CNN 用い 画像認識 や 方 理解 4. CNN 知 5. 教師 学習 画像認識 手段 知
  • 5. 5 深層学習 画像認識  Krizhevsky 多層NN 一般物体認識 ン 他 圧倒的差 勝利  一般物体認識 1枚 画像 映 物体 答え 分類(Classifier)  Youtube 動画 無作為 切 出 画像1000万枚 使 学習 多層NN 中間層 お あさん細胞 再現
  • 6. 6 ばあ 細胞 人間 何 認識 際 事象 対 専用 ュー ン あ 、 活性化 事象 あ 認識 い い ? いう仮説
  • 7. 7 畳み込みニュー ネッ ワー 再発見  深層学習 画像認識 ン ー 畳み込みニュー ワー (CNN) 重要  80年代末 LeCun 多層CNN 学習 成功 文字認識 適用 高い性能 挙 い Krizhevsky 利用 多層NN 代表 現在 CNN 構造 び 学習方法 80年代 CNN ほ 変わ い CNN 改 注目 う 、 いう 正 い
  • 8. 8 後 研究 研究 方向性 1. CNN 適用範囲 拡大 画像分野以外 成果 ? 2. 学習 大規模化 訓練 ー 等 用い 、 多層 3. 高性能 理由 探求 CNN い ?
  • 10. 10 基本構造 畳 込 NN = Convolution Neural Network CNN 特徴 畳み込み層 びプー ン 層 呼ぶ特殊 層 交互 接続 構造 持 特徴 除 CNN 普通 ィー ワー 型 NN 何 変わ い
  • 11. 11 ー ーワー ニュー ネッ ワー 日本語 順伝播型ニュー ワー 単一方向 信号 伝搬 入力 出力
  • 12. 12 畳み込みニュー ネッ ワー 例 ⋮ 畳 込 プー ン 畳込 プー ン 繰 返 全結合 S N S 𝑆 画素 大 × 𝑆 × 数
  • 13. 13 畳み込みニュー ネッ ワー 例 最終層 出力 以下 ソ 関数 処理 𝑝 = ⋮ 𝑝 , 𝑝 , … , 𝑝 𝑝 個 分類 際 番目 分類 確率 ソ 関数
  • 14. 14 ニュー ネッ ワー 見 入力( ー ー ) 縦 × 横 × 数 × × = 入力層 ー 数 : 1024 32 32 畳 込 層 ー 数 : 900 × 畳 込 プー ン 層 ー 数 : 450 全結合層 ー 数 : 100 プー ン
  • 15. 15 畳み込み層  入力 縦横 𝑆 × 𝑆画素 持 ー 数 、例え 、一般的 画像 RGBA 持 , , ∈ , 𝑆 − × [ , 𝑆 − ] × [ , ]  × 画素 , , ∈ , − × [ , − ] × [ , ]  畳 込 層 1 対 出力 𝑆′ × 𝑆′画素 , ∈ , 𝑆′ − × [ , 𝑆′ − ]
  • 16. 16 畳み込み層 け タ1つ 対 計算 入力 畳 込 演算結果 = ∙ − , − , , ∈𝒫= + 𝒫 ={画素( , ) 頂点 × 領 域} 各 毎 全出力 ー 同一( = ) 畳 込 S S N N L L 1 S’ S’
  • 17. 17 畳み込み層 け タ1つ 対 計算 畳 込 演算 計算結果 活性化関数 経 畳 込 層 出力 CNN い 活性化関数 一般 的 ReLU関数 用い ReLU関数 : = max⁡ , 1 S’ S’ 1 S’ S’ ∙
  • 18. 18 畳み込み層 出力 前述 対 演算 数 行 結果 畳 込 層 出力  、出力 数 枚数 等 い 畳 込 ′枚 出力 : 𝑆′ × 𝑆′ × ′
  • 19. 19 (参考)画像 タ 畳み込 み − − − − ー ープ ・ ー ( 歳)ー ( 歳)
  • 20. 20 画像 チャネ 数 透明 部分 い画像( 撮 写真 ) 基本的 RGB 持 赤 緑 青
  • 21. 21 畳込み 1 セ 処理 − − − − 周囲8 関係性 新 い値 決 ( 計算 行う)
  • 22. 22 様々 ター 畳込み − − . . . . . . . . . − : 128
  • 23. 23 畳み込み層 単層ネッ ワー 計算 特殊 形 層間 ー 結 単層 ワー 表現 特殊 形 結合  上位層 各 ー 下位層 ー 一部 結合  結合 重 各 ー 間 共通 あ
  • 24. 24 受容 局所的 上位層 各 ー 下位層 ー 一部 結合 上位層 対応 影響範囲 赤色 領域 ー 結合 、 え 領域 以外 部分 変わ 部 分 影響 い! 上位層 下位層
  • 25. 25 み共通  結合 重 各 ー 間 共通 重 あ 、 共通 画像全体 − − − − 共通 画像全体 !
  • 26. 26 プー ン 層 畳 込 層 対 使わ 、畳 込 層 出力 層 入力 プー ン 層 目的 プー ン 行う 堅牢性(Robustness) 高  、画像内 現 特徴 微小 位置変化 対 応答 不変性 実現
  • 27. 27 全 画素 対 演算 行う 、 置 演算 行う 場合 あ 、 いう 紹介 畳 込 演算 全 暗黙的 1  置 演算 行う 、出力層 ー 数 倍 𝑆 × 𝑆 × = 𝑆 × 𝑆 ×
  • 28. 28 プー ン 処理 プー ン 以上 値 設定 、縦横方向 間引  = 出力画像 縦横 長 半分 長 プー ン 縦横 長 半分 出力 ー 数 倍 !
  • 29. 29 プー ン 手法 1. 平均プー ン (average pooling) 受容野 値 平均値 出力 2. 最大プー ン (max pooling) 一番大 い値 出力 3. プー ン ( pooling) = 𝒫 𝑃 𝒫 𝑃 ⁡ 従 出力
  • 30. 30 プー ン 層 単層ネッ ワー プー ン 層 学習 よっ 変化す 重み 存在し い 平均プー ン 以外 通常 ー 入出力関係 表現 い ∵ 重 表現 い 初期 CNN 平均プー ン 用い 、最近 一般的 最大プー ン 使用
  • 31. 31 CNN 学習 教師あ 学習 学習 行う 標準的 ー ワー 型 NN 学習 変わ い 事前学習 プー ン 存在 一般的 い 学習 ー ベ 付 ンプ 集合 対象 、各 ンプ 分類誤差 最小化 う 学習 行う
  • 32. 32 交差 ン ロ ー 分類誤差 測 手段  入力 ンプ 対 理想的 出力 , … ,  実際 CNN 出力 𝑝 , … , 𝑝 乖離 以下 交差 ン ロ ー 測 = − log 𝑝 = F = log⁡
  • 33. 33 学習 メータ 交差 ン ー 小 う 以下 値 調整  各畳込 層 係数  各畳 込 層各 ー  全結合層 重
  • 34. 34 学習 流 交差 ン ー 最小化 確率的勾配降下法 用い 重 や 関 誤差勾配 誤差逆伝搬法 計算 普通 NN 変わ い 最大プー ン 逆伝搬計算 例外 順伝搬時 ー 選 記憶 、逆伝搬時 選 ー 結合 い う 重 ベ 使う CNN ニ チ 学習 行う
  • 35. 35 誤差 計算 み 更新 手段  学習 前学習 ー 用い 、誤差 平均 一気 重 更新  ン ン学習 ー 毎 逐次更新 行う  学習 全学習 ー 中 個 幾 ンプ 取 出 ー 対 更新 行う
  • 36. 36 ッチ学習  誤差 平均 学習 ー 詳解 = , ⋮ , 入力 対 最終層 出力 𝒕 = , ⋮ , 正解 ー 𝑬 = 𝒕 − m番目 入力 対 誤差 𝑬 = 𝐸𝑀 = = ⋮ 𝑬 = , − , ⋮ , − , 平均二乗誤差とシグモイド関数 を使っている場合 , ← , + ∆ , ∆ , = 𝜂 ∙ − = = − ∙ ∙ − < [省略] : ー 数, : ー 何番目 , : ー 個数
  • 37. 37 CNN け み 更新  重 更新 , ← , − + ∆ , , : 回更新 あ 上位層 番目 ー 下位層 番目 ー 重  更新量 ∆ , 次 う 決定 ∆ , = − , − + ∆ , − − 𝜆 , −  ∆ , − : ン … ー 更新 慣性的 ※前回 更新量 あ 程度加算 慣性的  − 𝜆 , − : 重 減衰 … 重 過剰 大 い う
  • 38. 38 ータ 正規化 一般的 CNN 入力 入力画像 学習 ンプ 平均 減算 使用 事 多い(正規化) 入力画像 、プー ン 層 出力 途中経過 対象 行う場合 あ  う 処理 最 一般性 持 局所コン 正規化(local contrast normalization)
  • 39. 39 減算正規化(subtractive normalization) 畳 込 層やプー ン 層 出力 = − ℎ ∙ + , + , あ 画素 , 周 小領域𝒫 全 渡 平均 差 引  ℎ ℎ = 満 重  × 小領域 単純平均(Pinto+)  , ー 減衰 ウ 関数(Jarrett+) / / / / / / / / / Pinto Pinto Jarrett
  • 40. 40 標準偏差 求  求 同 画像 範囲 標準偏差 𝜎 以下 う 表 𝜎 = ℎ ∙ + , + , = − ℎ ∙ + , + , ー 平均値 あ 点 値 平均 差 乗 平均 求 手法 ※単純平均 、加重平均 式 複雑 、分散 各 点 い 異 値 取
  • 41. 41 除算正規化(divisive normalization) 求 標準偏差𝜎 用い 更 正規化 求 = / max , 𝜎  処理 除算正規化 呼ぶ ※画像 ー 分散 画像 ン 意味 定数 画像 小 変動 影響 抑え 上記 式以外 + 𝜎 いう関数 使う場合 あ 𝜎 十分大 い 分散1 正規化 、小 何 い いう点 同
  • 42. 42 + 𝜎 or max , 𝜎 ? 青い直線 : max , 𝜎 赤い直線 : + 𝜎 ン 𝜎 中間 値 取 、 + 𝜎 ほう 滑 切 替わ
  • 43. 43 局所コン 正規化  処理 流 局所コン 正規化 元来 処理 哺乳流 初期視覚野 ュー ン 示 振 舞い 説明 考案 大 範囲 値 扱う際 値 飽和 い う 正規化 行う  画像認識 多層NN 局所 ン 正規化 用い い 、単純 適応的局所 ン調整以上 効果 あ う い
  • 44. 44 学習サンプ 集合 対 正規化 学習 ンプ 何 変換 施  全 ンプ 共分散行列 単位行列 う (白色化)  入力値 連続値 取 場合 ウ ーベ ー 型RBM 、学習 ンプ 想定 確率 見合 分布 持 う 平均 分散 補正
  • 46. 46 一般物体認識 難 一般物体認識 = general object recognition 研究自体 90年代 遡 当時 難 解決 相当 時間 思わ  難 い?  画像 映 無視 要素 不変 特徴 抜 出 必要性  類似 区別 識別力
  • 47. 47 従来 一般物体認識 方法 分類 いう問題 特徴抽出 分類 段階 分離 捉え 後半 分類 ー ベ ン ベ 付 ンプ 用い 教師あ 学習 処理 特徴 手動設計 取 出 難 特徴抽出 (手動設計) 分類 (教師あ ) 特徴
  • 48. 48 局所特徴 大域特徴 局所特徴(local feature)画像 局所的 小領域 考え、 濃 淡 特徴量 取 出 言う 画像上 選 多数 小領域 対 別々 局所特徴 抽出 、 符号化 びプー ン 上 、入力画像 枚全 体 特徴量 得  特徴量 大域特徴(global feature) 呼ぶ
  • 49. 49 局所特徴(SIFT 抽出) SIFT(Scale Invariant Feature Transform) 最 古 、 一番良 使わ い 手法 、2 プ 構成 1. 画像内 ほ 特別 や い顕著 特徴 持 点 選び出 、同時 周囲 局所的 濃淡構造 大 従 見 領域 大 向 決定 * 2. 領域内部 濃淡構造 表 特徴量 取 出 *物体認識 局所領域 位置・大 ・向 格子状 機械的 取 多い
  • 50. 50 他 局所特徴 抽出方法 SIFT 変わ 数多 局所特徴 提案 、 性能向上 度合い そ ほ 大き い  提案 中 わ い 段階 経 特徴 抽出 必要 あ あ 局所領域 対 、複数 並列 適用 、 結果 何 非線形関数 適用 、 後プー ン 行う いう構造
  • 51. 51 符号化 抽出 局所特徴 対 符号化(Encode) 、 付 行う  ュ ワー 自然画像 多様性 極 大 い 、 局所部分 多様性 ほ 、有限(数百〜数千) 典型例 類型化 仮定  典型例 ュ ワー 名付 多数 画像 多数 点 取 出 特徴量 集合 対 、 ン 実行 、得 数百〜数千程度 中心 得 代 表ベ ュ ワー
  • 52. 52 Bag of Features 予 用意 い ュ ワー 用い 画像 枚全体 表現 得 方法 い あ 、最 基本 bag-of-features 用い 各点 局所特徴 同 特徴空間 代表点 あ ュ ワー う 最近傍 置 換え 量子化 犬 猫 う ュ ワー 局所特徴 う い
  • 53. 53 プー ン 符号化 画像 特徴 帯域特徴 得 局所特徴 大域特徴局所特徴 局所特徴 う う 局所特徴 抽出 符号化 プー ン
  • 54. 54 従来法 成功 理由 以上 方法 一般物体認識 対 、 以前 予想 覆 成功 収  理由 プー ン い 、局所特徴 位置情報 潔 捨 あ 同一 見 目 変動 対 不変性 実現  、識別力 局所特徴 依存 為、明 限界 あ
  • 55. 55 従来法 CNN 比較 従来法 CNN 共通点 従来法 局所特徴 抽出→プー ン いう手順 CNN 畳 込 層→プー ン 層 いう手順 極 似 い 従来法 CNN 相違点 従来法 局所特徴 抽出 際 設計 決 、 CNN ( ) 学習 決定  、CNN 第 層 学習 経験的 設計 従来法 大 違わ い
  • 56. 56 CNN 学習 タ 上 図 MNIST 学習 CNN 段階目 自然画像 入力 場合 学習 ガボー ィ タ 類似 無色 色や色 変化 関 分 事 多い
  • 57. 57 ガ ー タ ガボー ィ タ 向 概念 持 、 あ 画像中 向 線 含 い 抽出 あ 具体的 次元 ン波 次元 ウ 関数 積 生成 ー 例 ー 適用例
  • 58. 58 従来法(SIFT) 採用 い 計算 SIFT 8方向 勾配方向 計算 行 い  CNN 学習 用い 畳 込 行う 同様 働 考え CNN 色 関 同時 得 、従来法 SIFT 別 色 特徴 抽出 使用 い  従 、 段階目 計算 従来法 CNN 大 差 い 思え
  • 59. 59 従来法 大 壁 局所特徴 抽出 う 入力 近い層 工学的 設計  、CNN 学習 発見 中〜上位層 特徴 同 う 設計  従来法 CNN 性能 分 理由 あ 言え
  • 60. 60 ネッ ワー 構造 認識性能 CNN 高い性能 示 理由 従来法 違い 求  CNN 多層性  CNN 構造 (画像 取 出 特徴 学習 獲得 柔軟性 持 ) う 本質的 う ?
  • 61. 61 CNN 構造 理由 あ 考え Jarrett 畳 込 層 ン 値 、 全結合層 学習 多項 回帰 場合 十分 認識率 達成 事 示 全結合層 学習 場合 : 53.3%  学習 場合 : 54.8% ※ 、 学習サンプ 数 少 い場合 み あ 、 学習サンプ 十分 あ 場合 、 タ 学習 効果 発揮
  • 62. 62 CNN 部表現 CNN 内部 一体何 表現 い
  • 63. 63 CNN 謎 迫 CNN 成功 鍵 多層構造 、 畳 込 層 プー ン 層 繰 返 構造 有用 、説得力 あ 説明 見 い い 第 層 SIFT 似 い 、働 理解 、 以降 全体 ういう働 い わ い CNN 入力 ー 何 、 う 表現 い う ?
  • 64. 64 可視化 学習後 CNN 角層 何 い 可視化 試 単純 各層 画像 見 多い 、何 読 取 難 い
  • 65. 65 逆畳込みネッ ワー Zeiler 逆畳込 ワー いう独自 考え CNN 中間層 各 ー 何 見 い 可視化 入力画像 成分 注目 ー 出力値 決定 取 出 表示  結果 ワー 層構造 対応 階層性 示
  • 66. 66 階層性 階層 深 連 活性化 ーン 複雑化 斜 線 縦 線 縦 線 横 線 耳 胴体 目 胴体 う 耳 う 胴体 う 目 胴体 楕 五角形 長方形
  • 67. 67 脳神経系 関係  高次視覚野 脳皮質 多点電極 刺 、 状態 自 然画像 見 電極 神経細胞 活性 ーン 記録 学習済 CNN 同 画像 入力 、上位層 ー 活性 ーン 記録 CNN 取 出 活性 ーン 用い 神経細胞 振 舞い 回帰 高い精度 予測 可能
  • 68. 68 転移学習 CNN 含 多層NN 魅力 学習 通 入力 ー 良い特徴 取 出 う  多層NN 学習 魅力的 性質 う あ あ 程度異 認識 間 学習 特徴 共通性 あ
  • 69. 69 多層NN 階層性 逆CNN 項 述 う 多層NN 学習 特徴 層構造 対応 階層性 持 下位層 特徴 普遍性 持 異 間 共有 上位層 特徴 依存性 高い 従 、下位層 NN 転移学習 利用 可能性
  • 70. 70 下位層 普遍性 利点 CNN 学習自体 一般物体認識 目的 、 学習 ー 規模 大 新 い認識 学習 う 学習 CNN 取 出 特徴 ー ベ ン等 分類 ー 自由度 減少 、必要 学習 ー 規模 小 い  方法 達成 認識精度 数多 認識 い 従来法 凌 高い わ い
  • 72. 72 単層自己符号化器 局所特徴 学習 学習 局所領域( チ) 対象 行う  局所領域 特徴 学習 ー ソウ 3 特徴抽出
  • 73. 73 自己符号化器 い 得 入力 ー 次元削減(Dimensional Reduction) 目標 教師 学習 次元縮退 要 、入力 特徴 適切 抜 出 主 目的 い 順方向 逆 方向 伝搬 元 信号 近 う 重 学習 行う
  • 74. 74 単層自己符号化器 局所特徴 学習 具体的 方法  ー ー ン  独立成分分析  再構成型TICA(Topographic Independent Component Analysis)  ー 自己符号化器  ー RBA(Restricted Boltzmann Machine) 名前 紹介 、具体的内容 割愛…
  • 75. 75 ー 自己符号化器  ワー 構成 入力層 ー 数 : 𝑆 × 𝑆個 S S 入力画像 切 出 出力層 ー 数 : < 𝑆 × 𝑆 個 𝑾 𝒏𝒆𝒕 𝒏𝒆𝒕 = ⁡ 𝑾 + 𝒃 ロ ティ 関数 𝒃
  • 76. 76 ロ ッ 関数 = + 𝑥 −𝑥  関数 種 = , = , =  左図 ー 適当 設定 関数
  • 77. 77 ー 自己符号化器 自己符号化器 以下 う 表 𝒊 − 𝟐 𝒊 最小化 ⁡ = ⁡ 𝑾 + 𝒃 ⁡ = 𝑾 + 𝒃 自己符号化器 ー 正則化 加え  ー 性 : 0 い値 事 少 う 出力層 ー 入力毎 活性化 う 制約
  • 78. 78 ー 自己符号化器 𝒊 − 𝟐 𝒊 + 𝜌 ⁡||⁡𝜌 #⁡of⁡units = ー 正規化項 𝜌 ⁡||⁡𝜌 = 𝜌 log 𝜌 𝜌 + − 𝜌 log⁡ −𝜌 −𝜌 𝜌 : 全学習 ンプ 渡 ー 平均活性度 𝜌 = 𝜌 : 平均活性度 目標値
  • 79. 79 ー 自己符号化器 使用例 CIFAR-10* 対象 局所特徴 抜 出  特徴 教師あ 学習 組 合わ 目的 実行 *一般物体認識 ー (http://www.cs.tronto.edu/~kriz/cifar.html)
  • 80. 80 多層ネッ ワー 特徴学習 先ほ ー 自己符号化器 例 単層 ワー 単層 ワー 何層 積 上 積層自己符号化器 使 同様 教師 特徴学習 行う 考え  視覚野 V2領域 ュー ン 取 出 言わ い ー ーや ン ョン上 画像特徴 層 深層信念 ワー 学習 獲得 いう報告  RBM 、 個積 上 深層 ン ン(DBM) 使 特 徴学習 行 結果MNIST 当時最高水準 認識性能
  • 81. 81 深層 学習…? 先ほ 例 う 学習 高々 , 層程度 ワー あ 、層数 増や 性能差 対 認 い場合や 層 方 性能 高い場合 多層性 効果 示 い い
  • 82. 82 畳み込み層 プー ン 層 持 べ 教師 学習 興味深い結果 CNN同様 畳 込 層 プー ン 層 持 ワー 使 得 1. 畳み込み深層信念 ワー 2. 再構成型トポ ラフィッ 独立成分分析
  • 83. 83 畳み込み深層信念ネッ ワー 畳 込 深層信念 ワー = Convolutional deep belief network CNN同様 畳 込 層 プー ン 層 交互積 重 構造 持 ワー 持 ボ ン ン  畳 込 層 ー 間結合 疎 ー 間 重 共有 形 特殊 RBM  ー 正則化 適用  各 ー 振 舞い 確率的 記述 確率的最大プー ン 新 導入 自然画像 対象 教師 学習 行 階層的 特徴 学習
  • 84. 84 ッ 独立成分分析 入力層、中間層、出力層 層 構造 NN 用い 特徴学習 出力層 ー ー 活性化 う 𝑊 最適化  𝑊 以下 制約 加え 𝑊𝑊 𝑇 = 𝐼 入力層 𝑾 中間層 出力層 プー ン 層
  • 85. 85 ッ 独立成分分析 TICA 以下 う 表 min 𝑊 +  + 局所 ン 正規化 時 出 関数 、 小 値 無視 大 値 正規化 事
  • 86. 86 再構成型 ッ 独立成分分析 標準的 TICA 𝑊𝑊 𝑇 = 𝐼 制約 中間層 ー 数 入 力層 小 い 前提 あ  TICA 冗長 特徴 表現 い 再構成型TICA(reconstruction TICA) 自己符号化器同様 再構成誤差 最小化 TICA 組 込 方法 TICA 重 対 直交性 制約 再構成誤差 最小化 置 換え 形→冗長 基底 学習 可能
  • 87. 87 教師 学習 畳込み プー ン 必要性 前述 、教師 学習 畳 込 層やプー ン 層 構造 埋 込 良い結果 得 うい 構造 持 い場合 大 画像 扱う場合 ワー 規模 大 いう欠点 あ 、 畳 込 層 構造 必要 理由 無い う 思わ