深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
26 likes27,511 views
第1回Webインテリジェンスとインタラクションセミナー（いまさら訊けないシリーズ「言語処理技術」）での発表資料です。 https://www.sigwi2.org/next-sig
1 of 91
Downloaded 386 times
Ad
Recommended
強化学習の基礎と深層強化学習（東京大学 松尾研究室 深層強化学習サマースクール講義資料）
強化学習の基礎と深層強化学習（東京大学 松尾研究室 深層強化学習サマースクール講義資料）Shota Imai 東京大学 松尾研究室が主催する深層強化学習サマースクールの講義で今井が使用した資料の公開版です．
強化学習の基礎的な概念や理論から最新の深層強化学習アルゴリズムまで解説しています．巻末には強化学習を勉強するにあたって有用な他資料への案内も載せました．
主に以下のような強化学習の概念やアルゴリズムの紹介をしています．
・マルコフ決定過程
・ベルマン方程式
・モデルフリー強化学習
・モデルベース強化学習
・TD学習
・Q学習
・SARSA
・適格度トレース
・関数近似
・方策勾配法
・方策勾配定理
・DPG
・DDPG
・TRPO
・PPO
・SAC
・Actor-Critic
・DQN（Deep Q-Network）
・経験再生
・Double DQN
・Prioritized Experience Replay
・Dueling Network
・Categorical DQN
・Noisy Network
・Rainbow
・A3C
・A2C
・Gorila
・Ape-X
・R2D2
・内発的報酬
・カウントベース
・擬似カウントベース
・RND（Random Network Distillation）
・ICM（Intrinsic Curiosity Module）
・Go-Explore
・世界モデル（World Models）
・MuZero
・SimPLe
・NGU（Never Give Up）
・Agent57
・AlphaGo
・AlphaGo Zero
・AlphaZero
・OpenAI Five
・AlphaStar
・マルチエージェント強化学習
ChatGPT 人間のフィードバックから強化学習した対話AI
ChatGPT 人間のフィードバックから強化学習した対話AIShota Imai 東京大学の研究室内で，今井がChatGPTの知見を共有するために使用したスライド資料です．
特に以下のような話題，技術について解説しています．
・ChatGPTの凄さ
・ChatGPTの技術
・言語モデル
・プロンプト
・GPTとは
・InstructGPT
・言語モデルと強化学習
ゼロから始める転移学習
ゼロから始める転移学習Yahoo!デベロッパーネットワーク 言語処理学会第28回年次大会(NLP2022)のチュートリアルでの講演資料です。
https://www.anlp.jp/nlp2022/#tutorial
最適輸送の解き方
最適輸送の解き方joisino 最適輸送問題（Wasserstein 距離）を解く方法についてのさまざまなアプローチ・アルゴリズムを紹介します。
線形計画を使った定式化の基礎からはじめて、以下の五つのアルゴリズムを紹介します。
1. ネットワークシンプレックス法
2. ハンガリアン法
3. Sinkhorn アルゴリズム
4. ニューラルネットワークによる推定
5. スライス法
このスライドは第三回 0x-seminar https://sites.google.com/view/uda-0x-seminar/home/0x03 で使用したものです。自己完結するよう心がけたのでセミナーに参加していない人にも役立つスライドになっています。
『最適輸送の理論とアルゴリズム』好評発売中！ https://www.amazon.co.jp/dp/4065305144
Speakerdeck にもアップロードしました: https://speakerdeck.com/joisino/zui-shi-shu-song-nojie-kifang
全力解説！Transformer
全力解説！TransformerArithmer Inc. 本スライドは、弊社の梅本により弊社内の技術勉強会で使用されたものです。
近年注目を集めるアーキテクチャーである「Transformer」の解説スライドとなっております。
"Arithmer Seminar" is weekly held, where professionals from within and outside our company give lectures on their respective expertise.
The slides are made by the lecturer from outside our company, and shared here with his/her permission.
Arithmer株式会社は東京大学大学院数理科学研究科発の数学の会社です。私達は現代数学を応用して、様々な分野のソリューションに、新しい高度AIシステムを導入しています。AIをいかに上手に使って仕事を効率化するか、そして人々の役に立つ結果を生み出すのか、それを考えるのが私たちの仕事です。
Arithmer began at the University of Tokyo Graduate School of Mathematical Sciences. Today, our research of modern mathematics and AI systems has the capability of providing solutions when dealing with tough complex issues. At Arithmer we believe it is our job to realize the functions of AI through improving work efficiency and producing more useful results for society.
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language ModelsDeep Learning JP This document summarizes a research paper on scaling laws for neural language models. Some key findings of the paper include:
- Language model performance depends strongly on model scale and weakly on model shape. With enough compute and data, performance scales as a power law of parameters, compute, and data.
- Overfitting is universal, with penalties depending on the ratio of parameters to data.
- Large models have higher sample efficiency and can reach the same performance levels with less optimization steps and data points.
- The paper motivated subsequent work by OpenAI on applying scaling laws to other domains like computer vision and developing increasingly large language models like GPT-3.
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリングmlm_kansai MACHINE LEARNING Meetup KANSAI #4 https://mlm-kansai.connpass.com/event/119084/ での、能見さんの発表資料です。
研究効率化Tips Ver.2
研究効率化Tips Ver.2cvpaper. challenge cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有しています。
http://xpaperchallenge.org/cv/
本資料はViEW2021チュートリアルセッション「最新研究の始め方」のプレゼン素材です。また、xpaper.challengeの2020年末ワークショップとしてプレゼンした「研究効率化Tips」の拡張版です。本資料では3社12研究室300ページにわたるノウハウの詰め合わせです。
VIEW2021のチュートリアルセッションでは時間の制限があるため、こちらの資料から一部抜粋して発表を行うことになりますが、VIEW2021チュートリアルセッションの方にも足を運んでいただければ幸いです。
VIEW2021チュートリアルセッション：http://view.tc-iaip.org/view/2021/speaker/ts1
ViEW2021参加登録：http://view.tc-iaip.org/view/2021/registration
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜![SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜](https://cdn.slidesharecdn.com/ss_thumbnails/ss2ssii2022-220607054716-2760bd30-thumbnail.jpg?width=560&fit=bounds)
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜SSII 6/9 (木) 14:45～15:15 メイン会場
講師：石井 雅人 氏（ソニーグループ株式会社）
概要： 機械学習技術の急速な発達により、コンピュータによる知的処理は様々なタスクで人間に匹敵あるいは凌駕する性能を達成してきた。一方、このような高い性能は大量かつ高品質な学習データによって支えられており、多様化する機械学習応用においてデータの収集コストが大きな導入障壁の１つとなっている。本講演では、少ないデータやラベルから効率的に学習するための様々な技術について、「足りない情報をどのように補うか？」という観点から概観するとともに、特に画像認識分野における最新の研究動向についても紹介する。
【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Modelscvpaper. challenge cvpaper.challenge の メタサーベイ発表スライドです。
cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。
http://xpaperchallenge.org/cv/
最適輸送入門
最適輸送入門joisino IBIS 2021 https://ibisml.org/ibis2021/ における最適輸送についてのチュートリアルスライドです。
『最適輸送の理論とアルゴリズム』好評発売中！ https://www.amazon.co.jp/dp/4065305144
Speakerdeck にもアップロードしました: https://speakerdeck.com/joisino/zui-shi-shu-song-ru-men
研究分野をサーベイする
研究分野をサーベイするTakayuki Itoh お茶の水女子大学伊藤研究室ゼミ資料
2025年更新版があります（https://www.slideshare.net/slideshow/87-ae73/276638332）
関連資料として以下が参考になります
https://note.com/sick4989hack/n/n928f78d3d33f
優れた研究論文の書き方―7つの提案
優れた研究論文の書き方―7つの提案Masanori Kado オリジナルはこちら
https://www.microsoft.com/en-us/research/academic-program/write-great-research-paper/
http://research.microsoft.com/en-us/um/people/simonpj/papers/giving-a-talk/Writing%20a%20paper%20(seven%20suggestions).pptx
新しいバージョンはこちら
https://www.slideshare.net/kdmsnr/how-to-write-a-great-research-paper-226669082
工学系大学4年生のための論文の読み方
工学系大学4年生のための論文の読み方ychtanaka 「研究室に配属されて突然先生から論文を渡されたけどどうやって読めばいいか分からない」「修士だけどもっと論文を読むスピードを上げたい」という人向けに論文の読み方をまとめました。主に電気・電子・情報系をターゲットにしていますが、他の分野でも役に立つと思います。
モデル高速化百選
モデル高速化百選Yusuke Uchida 画像センシングシンポジウム (SSII 2019) の企画セッション「深層学習の高速化 〜 高速チップ、分散学習、軽量モデル 〜」の講演資料です。
深層学習モデルを高速化する下記6種類の手法の解説です。
- 畳み込みの分解 (Factorization)
- 枝刈り (Pruning)
- アーキテクチャ探索 (Neural Architecture Search; NAS)
- 早期終了、動的計算グラフ
(Early Termination, Dynamic Computation Graph)
- 蒸留 (Distillation)
- 量子化 (Quantization)
backbone としての timm 入門
backbone としての timm 入門Takuji Tahara [第３回分析コンペLT会 、オンライン開催]
(https://kaggle-friends.connpass.com/event/220927/) での発表資料です。
画像コンペに出るうえで便利過ぎる timm(pytorch image models) の紹介をしました。
Transformer メタサーベイ
Transformer メタサーベイcvpaper. challenge cvpaper.challenge の メタサーベイ発表スライドです。
cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。
http://xpaperchallenge.org/cv/
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法![SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法](https://cdn.slidesharecdn.com/ss_thumbnails/os2-02final-210610091211-thumbnail.jpg?width=560&fit=bounds)
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
6月10日 (木) 11:00 - 12:30 メイン会場（vimeo + sli.do）
登壇者：松井 孝太 氏（名古屋大学）
概要：転移学習とは、解きたいタスクに対して、それと異なるが似ている他のタスクからの知識（データ、特徴、モデルなど）を利用するための方法を与える機械学習のフレームワークです。深層モデルの学習方法として広く普及している事前学習モデルの利用は、この広義の転移学習の一つの実現形態とみなせます。本発表では、まず何をいつ転移するのか (what/when to transfer) といった転移学習の基本概念と定式化を説明し、具体的な転移学習の主要なアプローチとしてドメイン適応、メタ学習について解説します。
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化Yusuke Uchida 2012年の画像認識コンペティションILSVRCにおけるAlexNetの登場以降，画像認識においては畳み込みニューラルネットワーク (CNN) を用いることがデファクトスタンダードとなった．CNNは画像分類だけではなく，セグメンテーションや物体検出など様々なタスクを解くためのベースネットワークとしても広く利用されてきている．本講演では，AlexNet以降の代表的なCNNの変遷を振り返るとともに，近年提案されている様々なCNNの改良手法についてサーベイを行い，それらを幾つかのアプローチに分類し，解説する．更に，実用上重要な高速化手法について、畳み込みの分解や枝刈り等の分類を行い，それぞれ解説を行う．
Recent Advances in Convolutional Neural Networks and Accelerating DNNs
第21回ステアラボ人工知能セミナー講演資料
https://stair.connpass.com/event/126556/
グラフニューラルネットワーク入門
グラフニューラルネットワーク入門ryosuke-kojima https://math-coding.connpass.com/event/147508/ Math&coding#6 の発表資料
IT系エンジニアのためのプレゼンテーション入門
IT系エンジニアのためのプレゼンテーション入門Masahito Zembutsu 最新版はこちらへ
https://www.slideshare.net/zembutsu/say-hello-to-your-presentation
ーーー
『IT系エンジニアのためのプレゼンテーション入門』
インフラエンジニアのためのプレゼン技術研究会 第0回
2015年2月21日(土) 14:00 ～ 17:00
さくらインターネット セミナールーム（東京都新宿区）
#infrapre
http://connpass.com/event/11739/
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -tmtm otm Twitter: ottamm_190
追記 2022/4/24
speakerdeck版：https://speakerdeck.com/masatoto/shen-ceng-xue-xi-falsebu-que-shi-xing-uncertainty-in-deep-neural-networks
コンパクト版：https://speakerdeck.com/masatoto/shen-ceng-xue-xi-niokerubu-que-shi-xing-ru-men
継続的なモデルモニタリングを実現するKubernetes Operator
継続的なモデルモニタリングを実現するKubernetes OperatorYahoo!デベロッパーネットワーク 第18回 MLOps 勉強会の登壇資料です。
https://mlops.connpass.com/event/242652/
MLOpsにおいて重要なModel Monitoringの仕組みを開発するにあたって、整理した要件と実際に開発したシステムについてお話ししました。
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるかYahoo!デベロッパーネットワーク Test Engineers Meetup
近年のソフトウエア開発では、ビジネス変化への対応がスピーディーで あることが求められます。いかに迅速にかつサービスの品質を落とさず にお客様へ新しい価値を提供できるかが重要です。 このプレゼンテーションでは、開発迅速性とサービスの品質の計測と可 視化、そして、2つの要素をバランスよく改善するべく自分たちが取り組 んでいることを事例として紹介します。
Ad
More Related Content
What's hot (20)
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリングmlm_kansai MACHINE LEARNING Meetup KANSAI #4 https://mlm-kansai.connpass.com/event/119084/ での、能見さんの発表資料です。
研究効率化Tips Ver.2
研究効率化Tips Ver.2cvpaper. challenge cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有しています。
http://xpaperchallenge.org/cv/
本資料はViEW2021チュートリアルセッション「最新研究の始め方」のプレゼン素材です。また、xpaper.challengeの2020年末ワークショップとしてプレゼンした「研究効率化Tips」の拡張版です。本資料では3社12研究室300ページにわたるノウハウの詰め合わせです。
VIEW2021のチュートリアルセッションでは時間の制限があるため、こちらの資料から一部抜粋して発表を行うことになりますが、VIEW2021チュートリアルセッションの方にも足を運んでいただければ幸いです。
VIEW2021チュートリアルセッション：http://view.tc-iaip.org/view/2021/speaker/ts1
ViEW2021参加登録：http://view.tc-iaip.org/view/2021/registration
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜SSII 6/9 (木) 14:45～15:15 メイン会場
講師：石井 雅人 氏（ソニーグループ株式会社）
概要： 機械学習技術の急速な発達により、コンピュータによる知的処理は様々なタスクで人間に匹敵あるいは凌駕する性能を達成してきた。一方、このような高い性能は大量かつ高品質な学習データによって支えられており、多様化する機械学習応用においてデータの収集コストが大きな導入障壁の１つとなっている。本講演では、少ないデータやラベルから効率的に学習するための様々な技術について、「足りない情報をどのように補うか？」という観点から概観するとともに、特に画像認識分野における最新の研究動向についても紹介する。
【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Modelscvpaper. challenge cvpaper.challenge の メタサーベイ発表スライドです。
cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。
http://xpaperchallenge.org/cv/
最適輸送入門
最適輸送入門joisino IBIS 2021 https://ibisml.org/ibis2021/ における最適輸送についてのチュートリアルスライドです。
『最適輸送の理論とアルゴリズム』好評発売中！ https://www.amazon.co.jp/dp/4065305144
Speakerdeck にもアップロードしました: https://speakerdeck.com/joisino/zui-shi-shu-song-ru-men
研究分野をサーベイする
研究分野をサーベイするTakayuki Itoh お茶の水女子大学伊藤研究室ゼミ資料
2025年更新版があります（https://www.slideshare.net/slideshow/87-ae73/276638332）
関連資料として以下が参考になります
https://note.com/sick4989hack/n/n928f78d3d33f
優れた研究論文の書き方―7つの提案
優れた研究論文の書き方―7つの提案Masanori Kado オリジナルはこちら
https://www.microsoft.com/en-us/research/academic-program/write-great-research-paper/
http://research.microsoft.com/en-us/um/people/simonpj/papers/giving-a-talk/Writing%20a%20paper%20(seven%20suggestions).pptx
新しいバージョンはこちら
https://www.slideshare.net/kdmsnr/how-to-write-a-great-research-paper-226669082
工学系大学4年生のための論文の読み方
工学系大学4年生のための論文の読み方ychtanaka 「研究室に配属されて突然先生から論文を渡されたけどどうやって読めばいいか分からない」「修士だけどもっと論文を読むスピードを上げたい」という人向けに論文の読み方をまとめました。主に電気・電子・情報系をターゲットにしていますが、他の分野でも役に立つと思います。
モデル高速化百選
モデル高速化百選Yusuke Uchida 画像センシングシンポジウム (SSII 2019) の企画セッション「深層学習の高速化 〜 高速チップ、分散学習、軽量モデル 〜」の講演資料です。
深層学習モデルを高速化する下記6種類の手法の解説です。
- 畳み込みの分解 (Factorization)
- 枝刈り (Pruning)
- アーキテクチャ探索 (Neural Architecture Search; NAS)
- 早期終了、動的計算グラフ
(Early Termination, Dynamic Computation Graph)
- 蒸留 (Distillation)
- 量子化 (Quantization)
backbone としての timm 入門
backbone としての timm 入門Takuji Tahara [第３回分析コンペLT会 、オンライン開催]
(https://kaggle-friends.connpass.com/event/220927/) での発表資料です。
画像コンペに出るうえで便利過ぎる timm(pytorch image models) の紹介をしました。
Transformer メタサーベイ
Transformer メタサーベイcvpaper. challenge cvpaper.challenge の メタサーベイ発表スライドです。
cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。
http://xpaperchallenge.org/cv/
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
6月10日 (木) 11:00 - 12:30 メイン会場（vimeo + sli.do）
登壇者：松井 孝太 氏（名古屋大学）
概要：転移学習とは、解きたいタスクに対して、それと異なるが似ている他のタスクからの知識（データ、特徴、モデルなど）を利用するための方法を与える機械学習のフレームワークです。深層モデルの学習方法として広く普及している事前学習モデルの利用は、この広義の転移学習の一つの実現形態とみなせます。本発表では、まず何をいつ転移するのか (what/when to transfer) といった転移学習の基本概念と定式化を説明し、具体的な転移学習の主要なアプローチとしてドメイン適応、メタ学習について解説します。
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化Yusuke Uchida 2012年の画像認識コンペティションILSVRCにおけるAlexNetの登場以降，画像認識においては畳み込みニューラルネットワーク (CNN) を用いることがデファクトスタンダードとなった．CNNは画像分類だけではなく，セグメンテーションや物体検出など様々なタスクを解くためのベースネットワークとしても広く利用されてきている．本講演では，AlexNet以降の代表的なCNNの変遷を振り返るとともに，近年提案されている様々なCNNの改良手法についてサーベイを行い，それらを幾つかのアプローチに分類し，解説する．更に，実用上重要な高速化手法について、畳み込みの分解や枝刈り等の分類を行い，それぞれ解説を行う．
Recent Advances in Convolutional Neural Networks and Accelerating DNNs
第21回ステアラボ人工知能セミナー講演資料
https://stair.connpass.com/event/126556/
グラフニューラルネットワーク入門
グラフニューラルネットワーク入門ryosuke-kojima https://math-coding.connpass.com/event/147508/ Math&coding#6 の発表資料
IT系エンジニアのためのプレゼンテーション入門
IT系エンジニアのためのプレゼンテーション入門Masahito Zembutsu 最新版はこちらへ
https://www.slideshare.net/zembutsu/say-hello-to-your-presentation
ーーー
『IT系エンジニアのためのプレゼンテーション入門』
インフラエンジニアのためのプレゼン技術研究会 第0回
2015年2月21日(土) 14:00 ～ 17:00
さくらインターネット セミナールーム（東京都新宿区）
#infrapre
http://connpass.com/event/11739/
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -tmtm otm Twitter: ottamm_190
追記 2022/4/24
speakerdeck版：https://speakerdeck.com/masatoto/shen-ceng-xue-xi-falsebu-que-shi-xing-uncertainty-in-deep-neural-networks
コンパクト版：https://speakerdeck.com/masatoto/shen-ceng-xue-xi-niokerubu-que-shi-xing-ru-men
More from Yahoo!デベロッパーネットワーク (20)
継続的なモデルモニタリングを実現するKubernetes Operator
継続的なモデルモニタリングを実現するKubernetes OperatorYahoo!デベロッパーネットワーク 第18回 MLOps 勉強会の登壇資料です。
https://mlops.connpass.com/event/242652/
MLOpsにおいて重要なModel Monitoringの仕組みを開発するにあたって、整理した要件と実際に開発したシステムについてお話ししました。
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるかYahoo!デベロッパーネットワーク Test Engineers Meetup
近年のソフトウエア開発では、ビジネス変化への対応がスピーディーで あることが求められます。いかに迅速にかつサービスの品質を落とさず にお客様へ新しい価値を提供できるかが重要です。 このプレゼンテーションでは、開発迅速性とサービスの品質の計測と可 視化、そして、2つの要素をバランスよく改善するべく自分たちが取り組 んでいることを事例として紹介します。
オンプレML基盤on Kubernetes パネルディスカッション
オンプレML基盤on Kubernetes パネルディスカッションYahoo!デベロッパーネットワーク 2022/3/24に開催した「オンプレML基盤 on Kubernetes」のパネルディスカッションパートの資料です。
https://ml-kubernetes.connpass.com/event/239859/
LakeTahoe
LakeTahoeYahoo!デベロッパーネットワーク 2022/3/24に開催した「オンプレML基盤 on Kubernetes」の資料です。機械学習モデルの開発者が、よりモデルの開発にのみ集中できるようにすることを目指して開発している「LakeTahoe（レイクタホ）」について紹介します。
https://ml-kubernetes.connpass.com/event/239859/
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜Yahoo!デベロッパーネットワーク 2022/3/24に開催した「オンプレML基盤 on Kubernetes」の資料です。オンプレミス環境のKubernetesを使って構築した機械学習基盤の開発、運用の取り組みをご紹介します。
https://ml-kubernetes.connpass.com/event/239859/
Persistent-memory-native Database High-availability Feature
Persistent-memory-native Database High-availability FeatureYahoo!デベロッパーネットワーク Implementation of an RDMA-based Database High-availability Feature for a Persistent-memory-native Database System
データの価値を最大化させるためのデザイン～データビジュアライゼーションの方法～ #devsumi 17-E-2
データの価値を最大化させるためのデザイン～データビジュアライゼーションの方法～ #devsumi 17-E-2Yahoo!デベロッパーネットワーク 2022年2月17日・18日に開催された「Developers Summit 2022」1日目の登壇スライドです。
ヤフーのデータソリューション事業やデータサイエンス部門のデザイナーとして、日々の業務においてデータに直接に触れる機会の多いエンジニアの皆さんとデータビジュアライズの観点で共有し実践していることをご紹介します。
eコマースと実店舗の相互利益を目指したデザイン #yjtc
eコマースと実店舗の相互利益を目指したデザイン #yjtcYahoo!デベロッパーネットワーク 2021年の「グッドデザイン賞」ではヤフーから4案件が受賞しました。本セッションでは「PayPayモールの実店舗在庫連携」について、案件の立ち上げから、リリースを通して改善・工夫した事、グッドデザイン賞の受賞経緯など、デザイナー目線でお話しします。
Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。
https://techconference.yahoo.co.jp/2022/
アーカイブ動画はこちらからご覧ください。
https://youtu.be/MFnZd1j4SUk
ヤフーを支えるセキュリティ ～サイバー攻撃を防ぐエンジニアの仕事とは～ #yjtc
ヤフーを支えるセキュリティ ～サイバー攻撃を防ぐエンジニアの仕事とは～ #yjtcYahoo!デベロッパーネットワーク 世の中にはサービスのセキュリティを脅かす犯罪者がたくさんいます。ユーザーを犯罪者から守り、サービスを安心安全に利用していただくため、高度化するサイバー攻撃に日々対応する必要があります。ヤフーにおけるセキュリティの一翼を担っているCSIRTとSOCについて紹介します。
Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。
https://techconference.yahoo.co.jp/2022/
アーカイブ動画はこちらからご覧ください。
https://youtu.be/boqitqHobrc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtcYahoo!デベロッパーネットワーク Yahoo! JAPANのIaaS基盤では200超のOpenStackクラスタが稼働しており、それらのコントロールプレーンをKubernetes上にデプロイしています。IaaSチームで管理している十数のKubernetesクラスタは古いバージョンのまま運用が続けられていたため、現在、段階的にバージョンアップおよびその自動化に取り組んでいます。このようなクラスタ群をメンテナンスする中で、工夫した点や失敗した点、得られた知見を紹介します。
Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。
https://techconference.yahoo.co.jp/2022/
アーカイブ動画はこちらからご覧ください。
https://youtu.be/F5EQqWOw8So
ビッグデータから人々のムードを捉える #yjtc
ビッグデータから人々のムードを捉える #yjtcYahoo!デベロッパーネットワーク ムード（気分）は人間の行動に大きく影響します。インターネットサービスにおいて、もし人々のムードを考慮し寄り添えたなら、より魅力的なサービスが提供できるのではないでしょうか。本セッションではヤフーが持つビッグデータを用いて「ムードを推定する」取り組みについてご紹介します。
Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。
https://techconference.yahoo.co.jp/2022/
アーカイブ動画はこちらからご覧ください。
https://youtu.be/WyZOmUN52-s
サイエンス領域におけるMLOpsの取り組み #yjtc
サイエンス領域におけるMLOpsの取り組み #yjtcYahoo!デベロッパーネットワーク ヤフーでは、さまざまな形で機械学習を活用してきました。その経験をもとに、AIプラットフォームと連携し、MLOpsの導入・推進を進めています。本セッションでは、サイエンス部門におけるMLOpsを推進するためにこれまで行ってきた取り組みについて紹介します。
Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。
https://techconference.yahoo.co.jp/2022/
アーカイブ動画はこちらからご覧ください。
https://youtu.be/tf9C0sLOZ14
ヤフーのAIプラットフォーム紹介 ～AIテックカンパニーを支えるデータ基盤～ #yjtc
ヤフーのAIプラットフォーム紹介 ～AIテックカンパニーを支えるデータ基盤～ #yjtcYahoo!デベロッパーネットワーク ヤフーはAIテックカンパニーを目指し、その実現に向かって進んでいます。そのためには、AI開発のためのデータ基盤が必要です。本セッションでは、AI開発に必要なデータ基盤の全体概要と、開発を効率化するAIプラットフォームを紹介をします。
Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。
https://techconference.yahoo.co.jp/2022/
アーカイブ動画はこちらからご覧ください。
https://youtu.be/XZKOHIfEnsU
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtcYahoo!デベロッパーネットワーク Yahoo! JAPAN Tech Conference 2022 Day2 Keynote発表スライドです。
Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。
https://techconference.yahoo.co.jp/2022/
アーカイブ動画はこちらからご覧ください。
https://youtu.be/iTazAJ2bSmc
新技術を使った次世代の商品の見せ方 ～ヤフオク!のマルチビュー機能～ #yjtc
新技術を使った次世代の商品の見せ方 ～ヤフオク!のマルチビュー機能～ #yjtcYahoo!デベロッパーネットワーク 2021年1月にヤフオク!アプリに商品を多角的に撮影／閲覧できる機能「マルチビュー」が導入されました。ヤフオク!にマルチビュー機能が追加された理由やマルチビュー機能を実現する多視点技術についてお話しします。
Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。
https://techconference.yahoo.co.jp/2022/
アーカイブ動画はこちらからご覧ください。
https://youtu.be/4Fi9cb0x6LU
PC版Yahoo!メールリニューアル ～サービスのUI/UX統合と改善プロセス～ #yjtc
PC版Yahoo!メールリニューアル ～サービスのUI/UX統合と改善プロセス～ #yjtcYahoo!デベロッパーネットワーク 2021年9月、PC版Yahoo!メールを10年ぶりにリニューアルしました。 技術刷新を機にweb・アプリのUI/UXを統合し、Yahoo! JAPANのサービスとしての一貫性あるデザインにしました。 大規模リニューアルの改善ポイントとそのプロセスについてご紹介します。
Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。
https://techconference.yahoo.co.jp/2022/
アーカイブ動画はこちらからご覧ください。
https://youtu.be/zuE6IysVsNw
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtcYahoo!デベロッパーネットワーク ヤフーは昨年「ワクチン接種キャンセル枠お知らせサービス」を公開しました。多くの関係者が存在するプロジェクトでありながら、リモートワーク環境下での協業、高いスピード感が必要となるプロジェクトでした。本セッションではこのプロジェクトの成功につながった「モブデザイン」という取り組みについて、その効果やうまく運用するためのポイントを紹介します。実際にモブデザインを行っている様子もご覧いただけるので、特に多職種チームでスピード感のある意思決定をしていくことに課題感をお持ちの方へのヒントになればと思います。
Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。
https://techconference.yahoo.co.jp/2022/
アーカイブ動画はこちらからご覧ください。
https://youtu.be/lmsY2uCP6lY
「新しいおうち探し」のためのAIアシスト検索 #yjtc
「新しいおうち探し」のためのAIアシスト検索 #yjtcYahoo!デベロッパーネットワーク Yahoo!不動産では「新しいおうち探し」が体験できるAIアシスト検索を提供しています。AIアシスト検索ではさまざまな軸をレコメンドすることによって検索をサポートしています。本セッションでは、AIアシスト検索のレコメンドがクラスタリングや深層学習といった手法を使って、どのように実現されているのかを紹介します。
Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。
https://techconference.yahoo.co.jp/2022/
アーカイブ動画はこちらからご覧ください。
https://youtu.be/-uhdjlcfcmQ
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtcYahoo!デベロッパーネットワーク Yahoo!検索の入力補助機能について、ユーザーの現在位置を考慮することによる改善施策を題材として、施策の検討からオフラインでの実験、A/Bテスト、リリースまでの一連のプロセスについて紹介します。
Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。
https://techconference.yahoo.co.jp/2022/
アーカイブ動画はこちらからご覧ください。
https://youtu.be/8kXmkBTw0nU
The potential of Kubernetes as more than just an infrastructure to deploy
The potential of Kubernetes as more than just an infrastructure to deployYahoo!デベロッパーネットワーク 分散密ベクトル探索エンジンである Vald ( https://vald.vdaas.org ) は、 Kubernetesを単なるデプロイするためのインフラとしてだけではなく、Valdのアプリケーションロジックが直接Kubernetes APIを利用し分散密ベクトル探索エンジンValdの分散レイヤーの一部として利用しています。 ValdはGraph&Tree構造からなるベクトルインデックス構造をIn-Memory上に保持しており、 各Podは別々のGraph空間を有していてKubernetesのAPIから取得できる情報をもとに各Podのベクトルインデックスの管理を行っています。
このスライドでは、アプリケーションからcontroller-runtimeを利用し直接 Kubernetes API を利用する真の Kubernetes ネイティブアプリケーションであるValdの事例について紹介します。
Ad