A Study on Clothing Recommendation Information Presentation System Based on Clothing Impression Estimation

Copyright © 2020 調和系工学研究室 - 北海道大学大学院情報科学研究院情報理工学部門複合情報工学分野 – All rights reserved.
衣服印象推定に基づく
衣服推薦情報提示システム
に関する研究
北海道大学大学院情報科学院
情報理工学部門複合情報工学分野調和系工学研究室
右田幹

2
背景
[1]明智安永，京子野口：ファッションへの関心と着装行動に関する基礎的調査研究 : 性別、年齢、主観的経済状況、性格による差の検討，ファッ
ションビジネス学会論文誌， Vol.17, pp.129–137 (2012).
[2]桂慶介，加藤桃子，島川博光：TPO とユーザが与えたい印象を考慮したコーディネート推薦，第 15 回情報科学技術フォーラム，pp.381–384
(2016).
印象を気にかけて、衣服を選択することは重要[2]
⁃ 他人に与える印象も重要な要素
多岐に渡る衣服から、以下のような衣服を選ぶことは容易ではない
⁃ 自分自身が好む衣服を着用していること
⁃ 他人に与える印象が場面にふわさしい衣服であるか
外出する際の衣服を選択する上で、個人の好みを重視[1]
⁃ 自分自身が好む衣服を着用することは重要な要素
自分にも好みだけど
デートに合うかな。。。
場面にふさわしく、ユーザーが好む衣服の選択支援を検討
アパレル店員
⁃ 客観的に与える印象が場面にふさわしいか判断が可能
⁃ 問い合わせたユーザー自身が好む衣服を選ぶことは容易ではない
衣服選択支援の例

3
関連研究
[3]柳公人，横山想一郎，山下倫央，川村秀憲：着衣人物画像に対する印象推定を用いた衣服推薦システムの開発，人工知能学会社会における AI 研
究会，pp.1–8 (2021).
[4] Liu, X., Li, J., Wang, J. and Liu, Z.: MMFashion: An Open-Source Toolbox for Visual Fashion Analysis, ACM Multimedia 2021,
Open Source Software Competition, Vol.abs/2005.08847 (2020).
印象をもとにした衣服推薦
着用している衣服から似た傾向を持ち、場面に
ふさわしい衣服を推薦するシステムを提案[3]
衣服を組み合わせた際に
適切であるか不明
衣服の相性推定を取り入れたツール[4]
⁃ CNNにより推定
場面にふさわしい衣服の組み合わせ
を提示する支援になり得る
推薦の様子
推薦の様子
衣服の相性
を算出
…
適切な
組み合わせ？？
自分自身が好む衣服

4
目的
衣服推薦情報提示システムの開発
 衣服画像から、印象と衣服の相性により、場面にふさわしい
コーディネートを推薦
検証内容
 印象と衣服の相性を用いた推薦方法の比較
 衣服推薦情報提示システムの検証
・コーディネートは、様々なカテゴリ（トップス、ボトムス、靴、鞄など）による構成
・構成要素を多くするほど、選択肢が増え、支援が困難
・本研究では、コーディネートをトップスとボトムスによって構成されるものとする
衣服推薦情報提示システムの設置環境
自宅
 クローゼットの中からコーディネートを選択するための支援になる
店舗
 提案したコーディネートを試着できる
今回は、店舗を想定したシステムを構築

5
提案手法
衣服推薦情報提示システムの概要

6
提案手法
ユーザーの撮影衣服領域抽出
衣服推薦モジュー
ル
結果表示
印象推定器
着衣と近い系統の
衣服を抽出
衣服データ
着衣画像
データ
衣服推薦
データ
相性推定器
衣服の相性が適切な
コーディネートを選択

7
提案手法
ユーザーの撮影衣服領域抽出
結果表示
着衣画像
データ
衣服推薦
データ
印象推定器
着衣と近い系統の
衣服を抽出
衣服データ
相性推定器
衣服の相性が適切な
コーディネートを選択
衣服推薦モジュー
ル

8
使用する推定モデル
印象推定器[3]
– ResNet-50をImage Netで事前学習
– Fashion Impression Dataset[5]
• 71,781のカテゴリ別衣服画像をECサイトから収集
• ファッション専門学生により2値でタグ付け (148種類)
– 衣服画像と印象タグの教師あり学習
[5] Kambe, M., Yokoyama, S., Yamashita, T. and Kawamura, H.: Estimating Impressions for Clothing, Landscape, and Indoor Images Using CNN, Pro-
ceedings of the 23rd Asia Pacific Symposium on Intelligent and Evolutionary Systems, Cham, Springer International Publishing, pp.67–78 (2020)
[6] Vasileva, M. I., Plummer, B. A., Dusad, K., Rajpal, S., Kumar, R. and Forsyth, D.A.: Learning Type-Aware Embeddings for Fashion Compatibility,
CoRR, Vol.abs/1803.09196 (2018).
FIDの
データとタグの例
かわいい
ガーリー
デート
︙
相性推定器[6]
⁃ ResNet-18をImage Netで事前学習
• 学習済みResNetを用いたSiameseNetによる埋め込み
⁃ Polyvore Outfitsデータセット
• Polyvore (海外ECサイト) からデータを収集
• 68,306枚のコーディネート画像 (衣服の説明文、タグを含む)
⁃ 衣服ペアの適合度を説明文の視覚的類似度をもとに
距離学習

9
衣服推薦
衣服抽出
[5]Kambe, M., Yokoyama, S., Yamashita, T. and Kawamura, H.: Estimating Impressions for Clothing, Landscape, and Indoor
Images Using CNN, Pro-ceedings of the 23rd Asia Pacific Symposium on Intelligent and Evolutionary Systems, Cham, Springer
International Publishing, pp.67–78 (2020)
抽出条件1 : 特定の場面にふさわしい衣服
① 印象推定器[5] 𝐼𝑚𝑝(𝑋𝑖, 𝐼𝑗) により特定の場面の印象値 𝐾𝑖𝑗を取得
記号意味
𝑋𝑖 衣服の集合
𝐼𝑗
印象の要素集合 (ガーリー、
モード、ナチュラル)
𝐾𝑖𝑗 衣服𝑖に対する印象𝑗の印象値
𝑡ℎ𝑟𝛼
印象値𝐾𝑖𝑗の閾値
（予備実験により算出）
3種類の系統 (ガーリー、モー
ド、ナチュラル) に対する印象
の当てはまりを0から1で数値化
𝐾𝑖𝑗 = 𝐼𝑚𝑝 𝑋𝑖, 𝐼𝑗
※ 𝐾𝑖𝑗 : 大きいほどあてはまる
② 𝐾𝑖𝑗 ≥ 𝑡ℎ𝑟𝛼を満たす衣服 𝑋𝑖 を 𝑋𝑖 として抽出
③トップス、ボトムス別に 𝑋𝑖 を 𝑋𝑖
𝑡𝑜𝑝
, 𝑋𝑖
𝑏𝑡𝑚
に分割
大きい小さい
𝐾𝑖𝑗
𝑡ℎ𝑟𝛼

10
衣服推薦
衣服抽出
抽出条件2 : 着衣と近い系統の衣服
記号意味
𝑋𝑖
𝑡𝑜𝑝 印象値から抽出した衣服集合
(トップス)
𝑋𝑖
𝑏𝑡𝑚 印象値から抽出した衣服集合
(ボトムス)
𝑖𝑛𝑝𝑢𝑡𝑡𝑜𝑝 入力着衣画像 (トップス部分)
𝑖𝑛𝑝𝑢𝑡𝑏𝑡𝑚 入力着衣画像 (ボトムス部分)
𝑡ℎ𝑟𝛽
系統ベクトルのユークリッド
距離に対する閾値
（予備実験により算出）
① 𝑋𝑖
𝑡𝑜𝑝
, 𝑋𝑖
𝑏𝑡𝑚
, 𝑖𝑛𝑝𝑢𝑡𝑡𝑜𝑝, 𝑖𝑛𝑝𝑢𝑡𝑏𝑡𝑚に
対してそれぞれの系統ベクトル 𝑣
を作成
印象推定器により得られた
3種類の印象値 (ガーリー、
モード、ナチュラル) で構成
② 𝐿2(𝑣𝑋𝑖
𝑡𝑜𝑝, 𝑣𝑖𝑛𝑝𝑢𝑡𝑡𝑜𝑝
) ≤ 𝑡ℎ𝑟𝛽を満たす衣服集合 𝑌𝑖
𝑡𝑜𝑝
と
𝐿2 𝑣𝑋𝑖
𝑏𝑡𝑚, 𝑣𝑖𝑛𝑝𝑢𝑡𝑏𝑡𝑚
≤ 𝑡ℎ𝑟𝛽を満たす衣服集合 𝑌𝑖
𝑏𝑡𝑚
を抽出
系統が遠い
系統が近い
※ 𝐿2(𝑎, 𝑏)：𝑎, 𝑏間のユークリッド距離
閾値𝑡ℎ𝑟𝛽

11
衣服推薦
衣服の組み合わせ
[6] Vasileva, M. I., Plummer, B. A., Dusad, K., Rajpal, S., Kumar, R. and Forsyth, D.A.: Learning Type-Aware Embeddings for
Fashion Compatibility, CoRR, Vol.abs/1803.09196 (2018).
相性推定器[6]を使用
相性推定器 𝐶𝑜𝑚𝑝 により、トップスとボトムスの相性の適合度 𝐹𝑖𝑗 を算出
𝐹𝑖𝑗 = 𝐶𝑜𝑚𝑝(𝑌𝑖
𝑡𝑜𝑝
, 𝑌
𝑗
𝑏𝑡𝑚
)
組み合わせたコーディネート
の相性の適合度を0以上の実数値で表現
※ 𝐹𝑖𝑗が小さいほど適合
𝐹𝑖𝑗が最小値を取るトップスとボトムスを推薦衣服 𝒐𝒖𝒕𝒑𝒖𝒕 として出力
o𝑢𝑡𝑝𝑢𝑡 = min(𝐹𝑖𝑗)

12
実験
2つの実験を並行に実施
• 実験B
⁃ 衣服推薦情報提示システム
の検証
各手法で決定された画像例
印象のみ衣服同士の
相性のみ
印象＋衣服同士
の相性
手法
結果表示
• 実験A
⁃ 印象と衣服の相性を用いた
推薦方法の比較

13
実験A
アンケートについて
⁃ 問題数 : 9問
⁃ 被験者 : 10代～20代の女性19人
⁃ デートに相応しいコーディネートを選択
⁃ 手法は被験者から隠し、位置もランダム
アンケート画面の例
実験目的
⁃ 印象と衣服の相性を用いた推薦方法を比較
実験内容
⁃ 手法ごとに決定された衣服画像を提示し、アンケートにより比較

14
実験A : 結果
被験者ごとに各手法が選択された回数
印象のみ衣服同士の相性のみ印象＋衣服同士の相性
（提案手法）
各手法が選択された回数
印象のみ 71
衣服同士の相性のみ 37
印象＋衣服同士の相性（提案手法） 52
印象のみによる方法が最も選ばれた
特徴的な選択をする被験者は現れなかった
問題ごとに傾向を調査

15
実験A : 結果
問題ごとに、被験者が選択したコーディネートのうち、どの手法に該当するかを合計
（複数回答した結果も含める）
実験A : 印象と衣服の相性を用いた推薦方法の比較
印象のみ
印象＋衣服同士の相性
（提案手法）
問題ごとに選択されたコーディネートにばらつきがある
相性のみ
「印象のみ」、「印象＋衣服同士の相性」それそれで最も選ばれた
2種類のコーディネートに着目

16
実験A : 結果
問題id : 2 問題id : 6
「印象のみ」を選択した理由
⁃ ボトムスの黒色はコーディネートに適している
⁃ ファッション雑誌でよく見る
相性のみ
「印象のみ」で多く選ばれた２つのコーディネート
の相性
相性のみ
の相性
「印象＋衣服同士の相性」を選択しない理由
⁃ 白に統一したコーディネートに違和感
⁃ ボトムスが短い
「印象のみ」を選択した理由
⁃ ピンクと黒はコーディネートに適している
⁃ 素材感がデートっぽい
「印象＋衣服同士の相性」を選択しない理由
⁃ ボトムスの方が目立つ色を用いたコーディネート
に違和感
⁃ デートに革を来ていかない
提案手法が想定していない判断基準を持った被験者がいた

17
実験A : 結果
相性のみ
「印象のみ」で多く選ばれた２つのコーディネート
の相性
相性のみ
の相性

18
実験A : 結果
「印象＋衣服同士の相性」を選択した理由
⁃ 青色が清潔感を与えている
⁃ コーディネートに統一感がある
相性のみ
「印象＋衣服同士の相性」で多く選ばれた２つのコーディネート
の相性
相性のみ
の相性
「印象のみ」を選択しない理由
⁃ トップスの黒色に違和感
「印象＋衣服同士の相性」を選択した理由
⁃ トップスの色がデートに適している
⁃ コーディネートに統一感がある
「印象のみ」を選択しない理由
⁃ トップスが目立つコーディネートになっている
提案手法が想定する判断基準（衣服組み合わせ）を持った被験者もいた

19
実験A : 結果
印象のみ
「印象＋衣服同士の相性」で多く選ばれた２つのコーディネート
の相性
印象のみ印象＋衣服同士
の相性

20
実験A : 考察
解決案
⁃ データセットの拡張(ローカライズ)
・日本人向けファッションデータセットを用いて再学習
⁃ パーソナライズ
・属性情報の嗜好を入力しフィルタリング
「印象のみ」「印象＋衣服同士の相性」
⁃ 衣服の組み合わせにより、選択されている傾向にある
相性を考慮することで場面にふさわしくなるという仮説を補強
する回答を得た
「相性のみ」「印象＋衣服同士の相性」
⁃ 相性を考慮して出したコーディネートが良くないと判断された
・学習データセットが海外向けで日本人にあってない
・想定してない判断基準を持った被験者がいた

21
実験B
実験目的
⁃ 衣服推薦情報提示システムの検証
検証方法
⁃ 実際に体験してもらう被験者を用意
⁃ システムが被験者のコーディネートを評価，衣服を3着推薦
⁃ 被験者にアンケートを実施
アンケート
システムによる
衣服推薦
被験者用意

22
実験B
アンケート
⁃ 3つのテーマに関する質問
⁃ テーマ
① システムの扱いやすさ
② 推薦された衣服に関する結果表示
③ 推薦内容はデートの場面にふさわしく，着用したいか
⁃ 問題数
① 3問
② 4問
③ 2問
被験者
⁃ 10代~20代の女性4人
⁃ デートの場面を想定

23
実験B : 結果
0% 20% 40% 60% 80% 100%
全体を通しての使いやすさ
撮影のタイミング
撮影から結果表示までの時間
よいどちらかといえばよいどちらかといえば悪い悪い
0% 20% 40% 60% 80% 100%
推薦内容の納得感
推薦内容の理解
文字や図の見やすさ
結果の表示場所
0% 20% 40% 60% 80% 100%
結果表示を拡張した合計20種類
結果表示の3種類
含まれる含まれない
③ 推薦内容は特定の場面にふさわしく、着用したいか

24
実験B : 考察
0% 20% 40% 60% 80% 100%
全体を通しての使いやすさ
撮影のタイミング
撮影から結果表示までの時間
0% 20% 40% 60% 80% 100%
推薦内容の納得感
推薦内容の理解
文字や図の見やすさ
結果の表示場所
結果画面
UI/UXに関しては概ね良い評価を得られた

25
実験B : 考察
・4人中1名が提示した3種類を着用したくないと回答
・しかし、推薦結果を20種類に増やすことで必ず該当する衣服が存在
提示した3種類の例
結果表示を拡張した
合計20種類の一部
最適な推薦結果が表示できる提示枚数の調査が必要
0% 50% 100%
結果表示を拡張した合計20種類
結果表示の3種類
含まれる含まれない
③ 推薦内容は特定の場面にふさわしく、着用したいか

26
まとめ
衣服推薦情報提示システムの開発
⁃ 衣服画像から、特定の場面にふさわしいコーディネートを推薦
コーディネート推薦手法の提案
⁃ 2つの衣服抽出条件を搭載
• 特定の場面にふさわしい衣服であるか
• 着ている衣服と近い系統であるか
⁃ 衣服の相性推定により、衣服の相性が適切なコーディネートを提示
⁃ 相性を考慮することで場面にふさわしくなるという仮説を補強する
回答を得られた
衣服推薦情報提示システムの検証
 被験者から評価を得られる傾向が見られた

27
研究業績
• 国内学会ポスター発表査読なし (1件)
1. 〇右田幹, 横山想一郎, 山下倫央, 川村秀憲 :着衣人物画像に対する
印象評価と衣服推薦に関する情報提示システムの開発,情報処理北海道
シンポジウム2022, 北海道(2022-10)
• 発表予定 (2件)
（国内学会口頭発表査読なし）
1. 〇右田幹, 横山想一郎, 山下倫央, 川村秀憲 : 衣服印象評価とコー
ディネイトに基づく衣服推薦システムの開発, 情報処理学会第85回全国
大会, 東京(2022-03)
2. 〇右田幹, 横山想一郎, 山下倫央, 川村秀憲 : 着衣の印象評価を用い
たコーディネートの推薦情報提示システムの開発,社会システムと情報
技術研究ウィーク(WSSIT2023), 北海道(2022-03)
• 受賞 (1件)
1. 学術研究賞(情報処理北海道シンポジウム2022)

A Study on Clothing Recommendation Information Presentation System Based on Clothing Impression Estimation

More Related Content

What's hot (20)

Similar to A Study on Clothing Recommendation Information Presentation System Based on Clothing Impression Estimation (20)

More from harmonylab (20)

Recently uploaded (6)

A Study on Clothing Recommendation Information Presentation System Based on Clothing Impression Estimation