【Unite Tokyo 2018】チームラボ × Unity ～Unityで制作するデジタルアートの世界～
20 likes•16,235 views
講演者：中村 将達（チームラボ株式会社） ：松田 勇磨（チームラボ株式会社） ：仲田 将之（チームラボ株式会社） こんな人におすすめ ・ノンゲームでのリアルタイムCG制作に興味のある方 ・実空間を使った作品制作に興味のある方 ・Unityでの表現の幅を広げたい方 受講者が得られる知見 ・デジタルアートについて ・空間作品でのUnity活用術（GPUを活用した表現や機能について） ・Unityを最大限活用するための他のソフトウェアとの連携について
【Unite Tokyo 2018】チームラボ × Unity ～Unityで制作するデジタルアートの世界～
- 1. チームラボ × Unity Unityで制作するデジタルアートの世界 2018/5/8 中村将達・松田勇磨・仲田将之 チームラボ株式会社 / インタラクティブチーム
- 2. 中村 将達 チームラボ株式会社 / インタラクティブチーム / プログラマー 松田 勇磨 仲田 将之
- 4. チームラボとは • 従業員約500人 • インスタレーション・サイネージ・Web・スマートフォンアプリなど、デジタル分野における 幅広いコンテンツ制作やソリューションの提供を行う。プログラマ、エンジニア、CGアニ メーター、数学者、建築家など、様々な分野の専門家で構成されている。 • SI事業と並び、アート作品の制作も行っている。
- 5. デジタルアート
- 6. “ ” 現代アートは、どう見たらいいのか ということ自体を問う闘いそのものだ 高 橋 龍 太 郎 . 現 代 美 術 コ レ ク タ ー
- 8. アートとは - 西洋美術史 後期印象派 「色は感情！」 抽象芸術 「色と形は絵の素粒子！」 ダダイズム 「 既成概念はカッコ悪い！」 アクションペインティング 「描いた行為(軌跡)が カッコいい！」 ポップアート 「サブカルかっこいい！」 Wikipedia FlickrWikipedia Wikipedia Wikipedia
- 9. アートとは - 楽焼 • 茶道の起源は中国の禅宗 • 輸入された茶道は12世紀に広まるが、美も中国が基準 • 千利休が「地味で不細工な茶碗がカッコいい！」とか言いはじめた • 美の基準が変わった 青磁輪花茶碗（重要文化財） （12-13世紀に中国で製造） 油滴天目（国宝） （12-13世紀に中国で製造） 黒楽茶碗（重要文化財） （16世紀に日本で製造）
- 10. アートとは • 美に関する、基準や概念（コンセプト）に関する争い • 「蝶」と「蛾」の違いは、生物学的な違いではなく、見た目の違い • 誰かが「美しいのが蝶で、汚いのが蛾」という概念を広めた • フランスやドイツでは、「蝶」と「蛾」をひとくくりにする単語がある 飲茶. 史上最強の哲学入門
- 11. teamLa b デジタルアート • デジタル技術を使ったアート • キャンバスをデジタル化しただけ • 本 → Kindle • 画用紙→ペンタブレット • メディアアートは「メディアの新しさ」が 重要 • 現代アートは「コンセプトの新しさ」が重 要 • チームラボはデジタルで現代アートを 作りたい メディアが新しい 概念が 古い メディアアート 現代アート メディアが古い 概念が 新しい 伝統的アート デジタルアート
- 12. チームラボのコンセプト • 西洋美術は「透視図法」を前提とし て、正面から見るように作られてい る • 絵画に正対する視点 （主観） が ある • それ以外の視点は存在せず、 「他人の視点 （客観）」となる
- 13. チームラボのコンセプト - 超主観空間 • 一方で、日本の絵巻物や Google Map などは視点移動（スクロール）できる • スクロールすることで視点(主観)を移動できるアートは一種の空間になっている • チームラボではそれを「超主観空間」と呼んでいる 熈代勝覧 (絵巻物)
- 14. チームラボのコンセプト – ボーダレス • 「超主観空間」を拡張したコンセプト • 超主観空間によって「主観」と「客観」の境界と、 • インタラクティブ性によって「作品」と「鑑賞者」の境界はあ いまいにできた • だが、個々の作品は、互いに隔たれていた • ボーダーレスは「作品」と「作品」の境界も取り除いてしまお う、というコンセプト
- 15. 日本美術のコンセプト - なぞらえ “もともとある作品をリスペクトしながら、自分たち の作品を作るということを、日本では非常に高い文 化力の持ち主だと評価するのである。こうした美学 をまとめて「なぞらえ」としておきたい。（高橋龍太 郎. 現代美術コレクター）” 俵屋宗達 風神雷神図屛風 鈴木其一 風神雷神図襖 会田誠 美しい旗 http://blog.livedoor.jp/a_delp /archives/2015-03-21.html
- 16. チームラボ作品のなぞらえ 花と人 Gold 追われるカラス 鈴木其一 Wikipedia 板野サーカス 超時空要塞マクロス Black Waves 葛飾北斎 Wikipedia
- 17. チームラボ × Unity
- 18. チームラボ × Unity • インタラクティブなアート作品の制作にはUnityを用いている • Unityでのコンテンツプログラミングを専門的に行う部署 : インタラクティブチーム
- 19. 開発について
- 21. プロジェクター
- 22. プロジェクター • 複数のプロジェクターから出ている映像を、投影面に沿って投影したり、綺麗に繋げる必 要がある • ワーピング （映像を湾曲させて平行でない面にも絵的に正しく映す） • エッジブレンディング （重なった映像を滑らかに繋げる） • マスキング （映像の一部にマスクをかける）
- 24. ワーピング 出典 : A. Grundhöfer, D. Iwai (2018) “Recent Advances in Projection Mapping Algorithms” Figure 1 https://www.disneyresearch.com/publication/recent-advances-in-projection-mapping-algorithms/
- 25. ワーピング
- 26. エッジブレンディング 出典 : A. Grundhöfer, D. Iwai (2018) “Recent Advances in Projection Mapping Algorithms” Figure 1 https://www.disneyresearch.com/publication/recent-advances-in-projection-mapping-algorithms/
- 27. エッジブレンディング
- 28. 別ツールでのマッピング • Unity以外でもマッピングを汎用的に用いるために、oF実装でマッピングツールを開発し ている • マッピングのためのリッチなGUIを搭載し、複雑な投影面にも対応 • UnityからSpoutというプロトコルで映像をツールに転送し、ツール側は受け取った映像 に対してマッピング機能を施すことで連携している • http://spout.zeal.co/
- 31. ディスプレイ
- 32. ディスプレイ • 複数ディスプレイにまたがって一つのwindowを全体に表示して、作品を見せる • フルスクリーン実行ではなく、コマンドラインで-popupwindowオプションをつけて実行 している（フルスクリーン実行だと1画面にしか出ないため） • ポストエフェクトでディスプレイのベゼルを消す
- 34. 立体LEDディスプレイ
- 39. 表現のためのGPU活用
- 41. 大量のモデルアニメーション
- 42. 大量のモデルアニメーション • 標準のスキンアニメーションだと、アニメーションモデルを大量に出しつつパフォーマン スを維持するのが難しい • Vertex Texture Fetchというテクニックを用いて、頂点シェーダでモデルをアニメーショ ンさせることでパフォーマンスを維持しつつ大量のアニメーションモデルを出すことを実 現しています
- 45. ParticleやTrail表現
- 46. ParticleやTrail表現 • ParticleやTrailを用いた表現も、Unity標準のものでは物量を補えなかったり、ほしい表 現が得られない場合が多々ある • Compute Shaderなど、GPGPUのテクニックを用いて自作ParticleSystemや TrailRendererを実装し、エフェクト開発を行っている
- 48. 流体表現
- 52. イメージエフェクト
- 56. 花の色味を調整した状態
- 57. 背景色を調整した状態
- 59. グローをかけた状態
- 60. グローの色味を調整した状態
- 61. 花の明るさとグローを調整した状態
- 65. 複数PCでの同期
- 66. 16K以上の高解像度で作品を出力する • 巨大な空間を扱う場合、16K以上の高解像度で作品を映すことが求められることがある • 1PCからだとそのような高解像度で作品を出力することが難しいため、複数PCを利用す る • 複数PCから映像を映す場合でも、全体で一つの作品として成立するように、映像が途切 れずに滑らかに繋がっているように見せる必要がある→同期の出番
- 67. 複数PCでの同期 • UNET • アニメーションモデルの全ボーンの同期 • エフェクトは乱数シードと開始時間を共有することで、絵的に繋がるように見せる
- 68. センサー連携
- 71. センサー連携 • センサープログラミングは別チームが担当（画像処理・機械学習チーム） • カメラやレーザーセンサーを用いて、人の位置や壁に触れている部分などを推測 • openFrameworkでのアプリ開発が多い • OSC（OpenSound Control）プロトコルでのやり取り （例）/point 1, 0.25, 0.7 : (x, y) = (0.25, 0.7)の位置にIDが1の人がいる OSC
- 72. サウンド連携
- 74. サウンド連携 • Unityからサウンドを鳴らすこともあるが、多チャンネル作品の場合、Max/MSPとの連携 を行い、サウンドを鳴らす • OSCでのやり取り （例）/se 5 0.6 0.2 : (x, y) = (0.6, 0.2)の位置にあるスピーカーからIDが5のSE音源を鳴ら す OSC
- 75. 現場調整
- 76. 現場調整 • 現場に入り、実際にプロジェクターなどから作品を映すと、PCディスプレイ上の見た目と 全然違う印象になる • 色味やオブジェクトのサイズ感など、現場で実際に見ながら調整を行う必要がある • 実行時にGUIを出しながらパラメータ調整を行い、ビジュアルのブラッシュアップを行う （調整したデータはJSONなどで保持し、ランタイムで読み込みと保存）
- 79. 展示のお知らせ