Scala 3, what does it means for me? / Scala 3って、私にはどんな影響があるの? by Joan Goyeau

JOAN GOYEAU
SENIOR DATA ENGINEER
Scala 3,
What does it
means to me?
Scala 3 について話す前に、私の仕事・チームを紹介します。

“Netflix is just streaming movies. I don’t see what
else you are doing there.”
— Most of my friends
Netflix って動画ストリーミングでしょ。他になにをやってるのかよくわからない、と多
くの友人から言われます。

その友人にとって Netflix はこんな感じ。

Internet Traffic
The Global Internet Phenomena Report October 2018
Netflix はインターネット・トラフィック全体の15% を占めています。

Peak Time Internet Traffic in USA
The Global Internet Phenomena Report October 2018
ピークタイムには、40% の占有率です。

ISP like
Netflix のサービスはすべてAWS上にホストされています。みなさんは、docomo のよう
なISPを通じてそれらにアクセスしているでしょう。

ISP like
😬 😠
💥
ISP, Netflix の双方が多大な転送コストを負っています。ISPにとって、トラフィック急
増をコストを負担してサポートすることは、好ましいことではないでしょう。

Open Connect
ISP like
😉 😀
そのためISPの内側に、サーバーを配置します。双方にとって、転送コストの節約にな
ります。ユーザーから見ると、レイテンシが大幅に削減されます。

High
Quality
Start Fast
Minimize
Rebuffer
再生開始までのレイテンシ、画質、バッファリング、はCAP定理のような三すくみの関
係です。

Data Driven
データ・ドリブンな決定。そのためにとにかく、ABテストを行っています。

A B
Baseline
21%
Variation
26%
例えば、100万人ずつのグループに対してUI変更のABテストを実施しています。同様の
スケールで、並行に多くのテストを行っています。

1.6 Gb 4.6 Gb
1.86 Gb448 Mb720p
1080p
Quality
2時間の動画を圧縮するエンコーダーを改良することができました。

1.6 Gb 4.6 Gb
1.86 Gb448 Mb720p
1080p
Quality
イメージ画像は、トレーラーに対してもABテストを行います。

別のテストの事例です。問題が起きたらフェイルオーバーされるべきだと誰かが言った
ら、私達は「OK. 本番環境で試してみよう」といいます。

Scala 3,
What does it
means to me?
Netflix では、大量のデータの処理に Scala を使っています。Scala 3 も楽しみにしてますが、私た
ちユーザーのコーディングや問題解決にどのような影響を与えるか理解することは難しいことでし
ょう。そこで、Scala 2 の悩み事がどのように解決されるか紹介します。

SCALA 3, WHAT DOES IT MEANS TO ME?
JOAN GOYEAU
1.
2.
3.
4.
5.
Episode 1:
Limited
Enumerations
制約のある列挙型

object PlayTraceType extends Enumeration {
type PlayTraceType = Value
val Start, Pause, Stop = Value
}
PlayTraceType.values
PlayTraceType.withName("Pause")
全ての値の取得と、withName関数がある点は良いですね。

sealed trait PlayTraceType
object PlayTraceType {
case object Start extends PlayTraceType
case object Pause extends PlayTraceType
case object Stop extends PlayTraceType
}

sealed abstract class PlayTraceType(description: String)
object PlayTraceType {
case object Start extends PlayTraceType("Start event")
case object Pause extends PlayTraceType("Pause event")
case object Stop extends PlayTraceType("Stop event")
}
PlayTraceType.withName("Pause")

import enumeratum._
sealed abstract class PlayTraceType(description: String)
extends EnumEntry
object PlayTraceType extends Enum[PlayTraceType] {
case object Start extends PlayTraceType("Start event")
case object Pause extends PlayTraceType("Pause event")
case object Stop extends PlayTraceType("Stop event")
val values = findValues
}
PlayTraceType.withValue("Pause")

enum PlayTraceType {
case Play, Pause, Stop
}
PlayTraceType.enumValues
PlayTraceType.enumValueNamed("Play")

enum PlayTraceType(description: String) {
case Play extends PlayTraceType("Start event")
case Pause extends PlayTraceType("Pause event")
case Stop extends PlayTraceType("Stop event")
}
PlayTraceType.enumValues
PlayTraceType.enumValueNamed("Play")

Episode 2:
Either and Coproducts
JOAN GOYEAU
Eitherと余積(Coproduct)

def audio(movieId: String):
Either[NotFoundException, Array[Byte]] =
??? // Get audio here
def subtitle(movieOffset: Int):
Either[Exception, String] =
if (movieOffset < 0)
new IllegalArgumentException(s"$movieOffset is < than 0")
else ??? // Get subtitles here. May throw NotFoundException

Array[Byte] | NotFoundException =
def subtitle(movieOffset: Int):
String | IllegalArgumentException | NotFoundException =
if (movieOffset < 0)
new IllegalArgumentException(s"$movieOffset is < than 0")
else ??? // Get subtitles here. May throw NotFoundException

Array[Byte] | NotFoundException =
def subtitle(movieOffset: Int Refined Positive):
String | NotFoundException =
??? // Get subtitles here. May throw NotFoundException

Episode 3:
nulls
JOAN GOYEAU
nulls

val movie: Movie = null
movie.age
💥 NullPointerException

val movie: Option[Person] = None
movie.map(_.age)

val movie: Movie = null
movie.age

val movie: Movie | Null = null
movie.age

Episode 5:
Tuple
deconstruction in
function
JOAN GOYEAU
関数におけるタプルの分解

Option(("Hello", "world"))
.map { case (first, second) => s"$first $second" }

Option(("Hello", "world"))
.map { (first, second) => s"$first $second" }

Episode 6:
extends AnyVal
JOAN GOYEAU
AnyValの継承

def recordView(movieId: String, userId: String) =
???
val userId = "some_user_id"
val movieId = "some_movie_id"
recordView(userId, movieId)

type MovieId = String
type UserId = String
def recordView(movieId: MovieId, userId: UserId) =
???
val userId: UserId = "some_user_id"
val movieId: MovieId = "some_movie_id"

case class MovieId(value: String)
case class UserId(value: String)
???
val userId: UserId = UserId("some_user_id")
val movieId: MovieId = MovieId("some_movie_id")

case class MovieId(value: String) extends AnyVal
case class UserId(value: String) extends AnyVal
???
val userId: UserId = UserId("some_user_id")
val movieId: MovieId = MovieId("some_movie_id")

opaque type MovieId = String
opaque type UserId = String
???
val userId: UserId = "some_user_id"
val movieId: MovieId = "some_movie_id"

Episode 7:
implicit classes
JOAN GOYEAU
暗黙のクラス

“I learned implicits today.
The one that made me smile is implicit classes.
You can be so lost if you are not aware of what it is.”
— Yannick
implicits を学んでわかったこと。暗黙のクラスは私を笑顔にしてくれる。しかしその正
体に気づかなければ、途方に暮れることでしょう。

import scala.concurrent.duration.Duration
import java.util.concurrent.TimeUnit
implicit class DurationsOps(n: Long) {
def seconds = Duration(n, TimeUnit.SECONDS)
}
def wait(duration: Duration) =
Thread.sleep(duration.toMillis)
wait(1.seconds)

import scala.concurrent.duration.Duration
import java.util.concurrent.TimeUnit
def (n: Long) seconds: Duration =
Duration(n, TimeUnit.SECONDS)
def wait(duration: Duration) =
Thread.sleep(duration.toMillis)
wait(1.seconds)

Episode 8:
Type class hack
JOAN GOYEAU
型クラスのハック

trait Encodable {
def encode: String
}
case class Movie(title: String, duration: Int)
extends Encodable {
override def encode: String = ???
}
def send(data: Encodable): Seq[String] = {
val raw = data.encode
// Send the data
}

extends Encodable {
override def encode = ???
}

extends Encodable
with Comparable[Movie] {
override def compareTo(other: Movie) = ???
}

extends Encodable
with Comparable[Movie]
with Cloneable {
}

extends Encodable
with Cloneable
with Serializable {
}

extends Encodable
with Cloneable
with Serializable
with Madnessable {
override def becameMad = 🤪
}

Datamanipulations
Data Structure
extends Encodable
with Cloneable
with Serializable
with Madnessable {
override def becameMad = 🤪
}

class Int extends Encodable {
override def encode = _.toString
}

trait Encoder[T] {
def apply(o: T): String
}
object Encoder {
implicit val movieEncoder: Encoder[Movie] = ???
implicit val intEncoder: Encoder[Int] = _.toString
}
def send[T](data: T)
(implicit encoder: Encoder[T]): Seq[String] = {
val raw = encoder(data)
// Send the data
}

// Send the data
}

(implicit encoder: Encoder[T],
httpClient: HttpClient): Seq[String] = {
// Send the data
}

// Send the data
}
send(Movie("Black Mirror", 1000))(0)
type mismatch;
found : Int(0)
required: Encoder

// Send the data
}
send(Movie("Black Mirror", 1000)).apply(0)

trait Encoder[T] {
}
implied for Encoder[Int] = _.toString
implied for Encoder[Movie] = ???
given (encoder: Encoder[T]: Seq[String] = {
val raw = the[Encoder[T]](data)
the[HttpClient].send(raw)
// Send the data
}

trait Encoder[T] {
}
implied for Encoder[Int] = _.toString
implied for Encoder[Movie] = ???
given (encoder: Encoder[T],
client: HttpClient): Seq[String] = {
val raw = the[Encoder[T]](data)
the[HttpClient].send(raw)
}

JOAN GOYEAU
Ep9: Untyped equality
型チェックされない同値性

val blackMirror = Movie("Black Mirror", 1000)

def isDuration1Sec(movie: Movie) =
movie.duration == 1000

import scala.concurrent.duration._
case class Movie(title: String, duration: Duration)
val blackMirror = Movie("Black Mirror", 1.second)

-language:strictEquality
movie.duration == 1000

-language:strictEquality
movie.duration == 1.second

Episode 10:
Trait parameters
JOAN GOYEAU
Traitパラメーター

trait Service[F[_]: ConcurrentEffect] {
def fetchSubtitles(movieOffset: Int): F[String]
}

Scala 3, what does it means for me? / Scala 3って、私にはどんな影響があるの? by Joan Goyeau

NETFLIX PRESENTATION TEMPLATE
FOOTER
Episode 11:
Cross compilation
mess
クロスコンパイルの複雑さ。Scala 3はすごい。でも、マイナーバージョンアップでさ
え苦痛なのに、どうやってScala 3へ移行すればいいのでしょう？

Scala 2.11
Code
JVM Bitcode
My Project
Scala 2.11
Code
2.11 JVM
Bitcode
Dependency
2.11プロジェクトは、2.11のライブラリに依存します。

Scala 2.12
Code
JVM Bitcode
My Project
❌
Scala 2.11
Code
2.11 JVM
Bitcode
Dependency
2.12 へのアップグレードでは、Scala コンパイラが生成するバイトコードが非互換なので、すべて
の依存関係を 2.12 でコンパイルし直さなくてはなりません。一方Javaは、JVM をコントロールし
ているため、破壊的な変更をJVM側でハンドルできるのです。

Scala 2.12
Code
JVM Bitcode
My Project
Scala 2.12
Code
2.12 JVM
Bitcode
Dependency
必要なのは、依存関係をアップグレードすることだけです。しかし、すべての 2.11 ラ
イブラリをコンパイルすることは、もはやできません。

Scala 2.12
Code
2.12 JVM
Bitcode
2.11 JVM
Bitcode
JVM Bitcode
My Project
Scala
2.11/2.12
Code
Dependency
だから、Scala のバージョンをまたいで、クロスコンパイルします。新たにサポートす
るバージョンを追加し、古いバージョンをサポートから外すのです。

Scala 3.0
Code
JVM Bitcode
My Project
3.0 JVM
Bitcode
2.13 JVM
Bitcode
Scala
2.13/3.0
Code
Dependency
Scala 3 がリリースされたら、新しい機能を使わずに Scala 3 にクロスコンパイルする
必要があります。

Scala 3.0
Code
JVM Bitcode
JVM Bitcode
Dependency
TASTy
My Project
Scala 2.13
Code

Scala 3.0
Code
JVM Bitcode
My Project
JVM Bitcode
Dependency
TASTy
Scala 2.13
Code
JS
ECMAScript
Native
さらに、どんなターゲットに対してもコンパイルできるようになります。この機能は、
Scala 3 への移行がスムーズになるよう, 2.14 に導入されます。

ありがとう
dotty.epfl.ch
scastie.scala-lang.org
jobs.netflix.com

Scala 3, what does it means for me? / Scala 3って、私にはどんな影響があるの? by Joan Goyeau

More Related Content

Similar to Scala 3, what does it means for me? / Scala 3って、私にはどんな影響があるの? by Joan Goyeau (20)

More from scalaconfjp (20)

Scala 3, what does it means for me? / Scala 3って、私にはどんな影響があるの? by Joan Goyeau

Editor's Notes