Software Transactional Memory

Software Transactional Memory
Курс «Базы данных»
Цесько Вадим Александрович
http://incubos.org
@incubos
Computer Science Center

9 декабря 2013 г.

Цесько В. А. (CompSciCenter)

STM


1 / 63

Содержание
1

Введение

2

Примеры

3

Internals

4

Заключение

5

Домашнее задание


STM


2 / 63

Введение

Мотивация

Мотивация
Задача
Множество изменяемых объектов в памяти
Атомарность наборов операций с объектами
Решение
Software Transactional Memorya :
Память как транзакционное хранилище
Универсальная альтернатива ручным блокировкам
ACI
a

http:
//en.wikipedia.org/wiki/Software_transactional_memory

STM


3 / 63

Введение

Идея

Идея

(Очень) оптимистичные транзакции
Если прочитанные значения не менялись, то
commit
В противном случае — retry
Возможен abort в любой момент
Как следствие – max concurrency


STM


4 / 63

Введение

Идея

Ручные блокировки

Нужно думать о перекрывающихся операциях
Нужно «держать в голове» весь код
Deadlocks, livelocks, progress, etc.
Очень трудно воспроизвести и отладить
Priority inversion1

1

http://en.wikipedia.org/wiki/Priority_inversion


STM


5 / 63

Введение

Идея

Подход STM

Simple
Maintainable
Composable
Не нужно думать о deadlocks и livelocks
Priority inversion — abort низкоприоритетной
транзакции
Но (почти) недопустимы side eﬀects (в т. ч. IO)


STM


6 / 63

Введение

Реализации


Множество реализаций для всех языков
Встроено в Clojure
ScalaSTM2

2

http://nbronson.github.io/scala-stm/


STM


7 / 63

Введение


Scala STM Expert Group

Akka
Stanford
Tel-Aviv University
EPFL
Cisco
etc.


STM


8 / 63

Введение

ScalaSTM

С высоты птичьего полёта
Живёт между atomic-блоком и Heap
Перехватывает чтения и записи
Чтения и записи из разных потоков
перемешались — rollback записей и retry
Иначе — commit
Видны только закоммиченые изменения
Принимаем во внимание только Refы
Реализация в виде библиотеки
TSet и TMap


STM


9 / 63

Введение

ScalaSTM

Достоинства
Say what you mean
(nested) atomic

Readers scale
CPU cache friendly

Exceptions automatically trigger cleanup
By default

Waiting for complex conditions is easy
retry, chaining

Simple
Just a library


STM


10 / 63

Введение

ScalaSTM

Недостатки
Two extra characters per read or write
x: Ref
Read: x()
Write: x() = y

Single-thread overheads
Но полезен rollback при исключениях

Rollback doesn’t mix well with I/O
Но есть хуки


STM


11 / 63

Примеры

API

Basic
1

import scala.concurrent.stm._

2
3
4
5

val x = Ref(0) // allocate a Ref[Int]
val y = Ref.make[String]() // type-specific default
val z = x.single // Ref.View[Int]

6
7
8
9
10
11
12
13
14
15
16

atomic { implicit txn =>
val i = x() // read
y() = "x was " + i // write
val eq = atomic { implicit txn => // nested atomic
// both Ref and Ref.View can be used inside atomic
x() == z()
}
assert(eq)
y.set(y.get + ", long-form access")
}

STM


12 / 63

Примеры

API

Advanced
1
2
3

// only Ref.View can be used outside atomic
println("y was ’" + y.single() + "’")
println("z was " + z())

4
5
6
7
8
9
10
11

y() = y() + ", first alternative"
if (x getWith { _ > 0 }) // read via a function
retry // try alternatives or block
} orAtomic { implicit txn =>
y() = y() + ", second alternative"
}

12
13
14
15
16
17

val prev = z.swap(10) // atomic swap
val success = z.compareAndSet(10, 11) // atomic compare-and-set
z.transform { _ max 20 } // atomic transformation
val pre = y.single.getAndTransform { _.toUpperCase }
val post = y.single.transformAndGet { _.filterNot { _ == ’ ’ } }

STM


13 / 63

Примеры

Doubly-linked list

Use Ref for shared variables
1


2
3
4
5
6
7
8
9
10
11

class ConcurrentIntList {
private class Node(
val elem: Int,
prev0: Node,
next0: Node) {
val isHeader = prev0 == null
val prev = Ref(if (isHeader) this else prev0)
val next = Ref(if (isHeader) this else next0)
}

12
13

private val header = new Node(-1, null, null)


STM


14 / 63

Примеры

Doubly-linked list

Wrap your code in atomic

1
2
3
4
5
6
7
8

def addLast(elem: Int) {
val p = header.prev()
val newNode = new Node(elem, p, header)
p.next() = newNode
header.prev() = newNode
}
}


STM


15 / 63

Примеры

Doubly-linked list

Compose atomic operations

1
2
3
4
5
6
7

def addLast(e1: Int, e2: Int, elems: Int*) {
addLast(e1)
addLast(e2)
elems foreach { addLast(_) }
}
}


STM


16 / 63

Примеры

Doubly-linked list

Optimize single-operation transactions
Ref.View:
Получение через Ref.single
Можно использовать вне atomic
Поддерживает транзакции из одной операции
swap, compareAndSet, transform, etc.
Пример:
1
2
3
4
5

/*
def isEmpty = atomic { implicit t =>
header.next() == header
}
*/

6
7

def isEmpty = header.next.single() == header

STM


17 / 63

Примеры

Doubly-linked list

Wait for conditions to change

1
2
3
4
5
6
7
8
9
10

def removeFirst(): Int =
val n = header.next()
if (n == header)
retry
val nn = n.next()
header.next() = nn
nn.prev() = header
n.elem
}


STM


18 / 63

Примеры

Doubly-linked list

Wait for multiple events

1
2
3
4
5
6
7

def maybeRemoveFirst(): Option[Int] = {
Some(removeFirst())
None
}
}


STM


19 / 63

Примеры

Doubly-linked list

Composition: select
1
2
3
4
5
6
7
8
9
10
11
12

object ConcurrentIntList {
def select(stacks: ConcurrentIntList*):
(ConcurrentIntList, Int) =
for (s <− stacks) {
s.maybeRemoveFirst() match {
case Some(e) => return (s -> e)
case None => _
}
}
retry
}


STM


20 / 63

Примеры

Doubly-linked list

Be careful about rollback (1)
1
2
3
4
5
6
7
8
9
10
11
12

def badToString: String = {
val buf = new StringBuilder("ConcurrentIntList(")
var n = header.next()
while (n != header) {
buf ++= n.elem.toString
n = n.next()
if (n != header) buf ++= ","
}
}
buf ++= ")" toString
}


STM


21 / 63

Примеры

Doubly-linked list

Be careful about rollback (2)
1
2
3
4
5
6
7
8
9
10
11
12

override def toString: String = {
val buf = new StringBuilder("ConcurrentIntList(")
var n = header.next()
while (n != header) {
buf ++= n.elem.toString
n = n.next()
if (n != header) buf ++= ","
}
buf ++= ")" toString
}
}


STM


22 / 63

Примеры

Indexed Map

Цель

In-memory DB
User-deﬁned indices


STM


23 / 63

Примеры

Indexed Map

API
1
2
3
4
5
6
7
8
9
10
11
12

13
14

scala> case class User(id: Int, name: String, likes: Set[String])
scala> val m = new IndexedMap[Int, User]
scala> m.put(10, User(10, "alice", Set("scala", "climbing")))
res0: Option[User] = None
scala> val byName = m.addIndex { (id,u) => Some(u.name) }
byName: (String) => Map[Int,User] = <function1>
scala> val byLike = m.addIndex { (id,u) => u.likes }
byLike: (String) => Map[Int,User] = <function1>
scala> m.put(11, User(11, "bob", Set("scala", "skiing")))
res1: Option[User] = None
scala> byName("alice")
res2: Map[Int,User] = Map((10,User(10,alice,Set(scala,
climbing))))
scala> byLike("scala").values map { _.name }
res3: Iterable[String] = List(alice, bob)


STM


24 / 63

Примеры

Indexed Map

A high-level sketch
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

class IndexedMap[A, B] {
private val contents = TMap.empty[A, B]
// TODO def addIndex(view: ?): ?
def get(key: A): Option[B] = contents.single.get(key)
def put(key: A, value: B): Option[B] =
val prev = contents.put(key, value)
// TODO: update indices
prev
}
def remove(key: A): Option[B] =
val prev = contents.remove(key)
// TODO: update indices
prev
}
}
STM

25 / 63

Примеры

Indexed Map

Types for the view function and index

Помедитируем:
1
2

def addIndex(view: ((A, B) => Iterable[C])):
(C => Map[A, B]) = ...


STM


26 / 63

Примеры

Indexed Map

Tracking and updating indices (1)
1
2
3
4
5

private class Index[C](view: (A, B) => Iterable[C])
extends (C => Map[A, B]) {
def += (kv: (A, B)) // TODO
def -= (kv: (A, B)) // TODO
}

6
7

private val indices = Ref(List.empty[Index[_]])

8
9
10
11
12
13
14
15
16

def addIndex[C](view: (A, B) => Iterable[C]):
(C => Map[A, B]) =
val index = new Index(view)
indices() = index :: indices()
contents foreach { index += _ }
index
}

STM


27 / 63

Примеры

Indexed Map

Tracking and updating indices (2)
1
2
3
4
5
6
7

def put(key: A, value: B): Option[B] =
val prev = contents.put(key, value)
for (p <− prev; i <− indices()) i -= (key -> p)
for (i <− indices()) i += (key -> value)
prev
}

8
9
10
11
12
13
14

def remove(key: A): Option[B] =
val prev = contents.remove(key)
for (p <− prev; i <− indices()) i -= (key -> p)
prev
}


STM


28 / 63

Примеры

Indexed Map

Index internals
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

private class Index[C](view: (A, B) => Iterable[C])
extends (C => Map[A, B]) {
val mapping = TMap.empty[C, Map[A, B]]
def apply(derived: C) =
mapping.single.getOrElse(derived, Map.empty[A, B])
def += (kv: (A, B))(implicit txn: InTxn) {
for (c <− view(kv._1, kv._2))
mapping(c) = apply(c) + kv
}
def -= (kv: (A, B))(implicit txn: InTxn) {
for (c <− view(kv._1, kv._2)) {
val after = mapping(c) - kv._1
if (after.isEmpty)
mapping -= c
else
mapping(c) = after
}
}
STM

29 / 63

Примеры

Dining Philosophers

Проблема


STM


30 / 63

Примеры

Dining Philosophers

STM solution
1

class Fork { val inUse = Ref(false) }

2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

def meal(left: Fork, right: Fork) {
// thinking
if (left.inUse() || right.inUse())
retry // forks are not both ready, wait
left.inUse() = true
right.inUse() = true
}
// eating
left.inUse() = false
right.inUse() = false
}
}

STM


31 / 63

Internals

Waiting

Waiting
retry в atomic ≈ wait() в synchronized, но retry:
Безопаснее
STM определяет модификации Ref, ведущие к
пробуждению (вместо notifyAll)
Невозможны «потерянные» пробуждения

Эффективнее
Нет «лишних» пробуждений
Можно ожидать на любых условиях, а не только на
предопределённых


STM


32 / 63

Internals

Waiting

Search with backtracking (1)
Optimistic concurrency control as a search with
backtracking:
1

val (x, y) = (Ref(10), Ref(0))

2
3
4
5
6
7

def sum = atomic { implicit txn =>
val a = x()
val b = y()
a + b
}

8
9
10
11
12
13
14

def transfer(n: Int) {
x -= n
y += n
}
}

STM


33 / 63

Internals

Waiting

Retry. Семантика
Вызов retry — сигнал о dead end, даже если все
чтения и записи консистентны
STM откатится и попробует снова
Если некоторые из прочитанных Refов
изменились, то atomic блок может пойти по
другому пути и избежать retry
Условие ожидания retry
Неявно задано потоком управления в atomic-блоке


STM


35 / 63

Internals

Waiting

Retry. Эффективность
Примеры:
if (x() <= 10) retry
if (x() == 0 && y() == 0 && z() == 0)
retry
Реализация:
STM отслеживает, к каким Refам обращались
Под капотом — блокирующиеся конструкции
retry: Nothing


STM


36 / 63

Internals

Waiting

Alternatives

orAtomic/atomic.oneOf:
Несколько путей поиска
Первый заканчивается retry — откат и идём по
второму и т. д.
Учитывается только явный retry (а не
неконсистентные чтения)


STM


37 / 63

Internals

Waiting

Alternatives. Пример
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

val msg = atomic { implicit txn =>
if (x() == 0)
retry
x -= 1
"took one from x"
if (y() == 0)
retry
y -= 1
"took one from y"
if (z() == 0)
retry
z -= 1
"took one from z"
}

STM


38 / 63

Internals

Waiting

Timeouts
Зачем timeout при retry:
Error logging/handling
No work — waiting thread shutdown
Timeouts in spec of higher-level interface
Способы ограничения retry:
Модифицированный TxnExecutor
(InterruptedException)
retryFor()


STM


39 / 63

Internals

Waiting

Timeouts. TxnExecutor
1
2

3

atomic.withRetryTimeout(1000) { implicit txn =>
// any retries in this atomic block will wait for at most
1000 milliseconds
}

4
5
6
7
8
9

val myAtomic = atomic.withRetryTimeout(1, TimeUnit.SECONDS)
myAtomic { implicit txn =>
// this atomic block has a timeout of 1 seconds
}
myAtomic { ... }

10
11
12
13
14

TxnExecutor.transformDefault( _.withRetryTimeout(1000) )
// all atomic blocks now default to a 1 second timeout
}


STM


40 / 63

Internals

Waiting

Timeouts. retryFor(timeout)
1
2
3
4
5
6
7

val instance = atomic { implicit txn =>
if (!pool.hasAvailable) {
retryFor(100)
pool.grow()
}
pool.take()
}

Сигнатура
1

retryFor(...): Unit

1

retry: Nothing


STM


41 / 63

Internals

Waiting

Timeouts. Views

Можно блокироваться на Ref.View:
Ref.View.await(pred): Unit
Ref.View.tryAwait(duration)(pred): Boolean


STM


42 / 63

Internals

Maps + Sets

Maps + Sets

Консистентные итераторы у TMap.View и
TSet.View
Быстрые слепки за O(1)


STM


43 / 63

Internals

Maps + Sets

Consistent iteration

TMap.View extends mutable.MapLike
get()/put() outside atomic should be atomic
TMap.View.iterator/TSet.View.iterator для
атомарного слепка


STM


44 / 63

Internals

Maps + Sets

Inconsistent iteration

1

val m = TMap("one" -> 1).single

2
3
4
5
6
7
8

(new Thread { override def run {
m -= "one"
m += ("ONE" -> 1)
}
} }).start

9
10

for ((k, v) <− m; if v == 1) println(k)


STM


45 / 63

Internals

Maps + Sets

Manual snapshots

<TMap|TSet>[.View].snapshot() возвращает
immutable.Map/immutable.Set
<TMap|TSet>.clone()


STM


46 / 63

Internals

Maps + Sets

How does it work?
Mutable hash tries from Refs with generation
numbers that control copy-on-write
N. G. Bronson, J. Casper, H. Chaﬁ and K. Olukotun. A
Practical Concurrent Binary Search Tree. 2010.
N. G. Bronson, J. Casper, H. Chaﬁ and K. Olukotun.
Transactional Predication: High-Performance
Concurrent Sets and Maps for STM. In PODC’10:
Proceedings of the 29th Annual ACM Conference on
Principles of Distributed Computing, 2010.
N. G. Bronson. Composable Operations on
High-Performance Concurrent Collections. Ph.D.
Dissertation, Stanford University, 2011.

STM


47 / 63

Internals

Exceptions

Exceptions

Exception ⇒ rollback + rethrow
scala.util.control.ControlThrowable ⇒
commit + rethrow


STM


48 / 63

Internals

Exceptions

Exceptions and nesting
1
2
3
4
5
6
7
8
9
10
11
12

val last = Ref("none")
last() = "outer"
try {
last() = "inner"
throw new RuntimeException
}
} catch {
case _: RuntimeException =>
}
}


STM


49 / 63


Benchmarking

Benchmarking

TL;DR
Немного медленнее в однопоточном режиме по
сравнению с хитрыми блокировками
Лучше масштабируется по ядрам/нитям


STM


50 / 63


Benchmarking

STMBench7
R. Guerraoui, M. Kapalka and J. Vitek. STMBench7:
A Benchmark for Software Transactional Memory.
2007.
A. Dragojevic, R. Guerraoui and M. Kapalka. Dividing
Transactional Memories by Zero. 2008.
Comparison to coarse- and medium-grained locking
See the details4

4

http://nbronson.github.io/scala-stm/benchmark.html


STM


51 / 63


Benchmarking

Read Dominated


STM


52 / 63


Benchmarking

Write Dominated


STM


53 / 63


Benchmarking

Read + Write Mix


STM


54 / 63


Benchmarking

Read + Write Mix GC Rate


STM


55 / 63


Benchmarking

Read + Write Mix GC Load


STM


56 / 63


Bibliography

Bibliography
F. T. Schneider, V. Menon, T. Shpeisman, and
A.-R. Adl-Tabatabai. Dynamic Optimization for
Eﬃcient Strong Atomicity. 2008.
N. G. Bronson, C. Kozyrakis and K. Olukotun.
Feedback-Directed Barrier Optimization in a Strongly
Isolated STM. 2009
V. Menon, S. Balensieger, T. Shpeisman,
A.-R. Adl-Tabatabai, R. L. Hudson, B. Saha and
A. Welc. Practical Weak-Atomicity Semantics for
Java STM. 2008.
K. F. Moore and D. Grossman. High-Level Small-Step
Operational Semantics for transactions. 2008.

STM


57 / 63


Bibliography continued

Bibliography continued
T. Harris, S. Marlow, S. Peyton-Jones and M. Herlihy.
Composable Memory Transactions. 2005.
R. Hickey. The Clojure Programming Language. 2008
D. Dice, O. Shalev and N. Shavit. Transactional
Locking II. 2006.
T. Riegel, P. Felber and C. Fetzer. A Lazy Snapshot
Algorithm with Eager Validation. 2006.
R. Guerraoui and M. Kapalka. On the Correctness of
Transactional Memory. 2008.
A. Dragojevic, R. Guerraoui and M. Kapalka.
Stretching Transactional Memory. 2009.

STM


58 / 63


Куда двигаться дальше

Куда двигаться дальше
Herb Sutter. The Free Lunch Is Over. 2009.
Jonas Bon´r. State: You’re Doing It Wrong —
e
Alternative Concurrency Paradigms For The JVM5 .
JavaOne 2009.
ScalaDays 2013. Concurrency — The good, the bad,
the ugly6
Chris Okasaki. Purely Functional Data Structures.
1999
JCIP 2nd edition + JMM
5

http://www.slideshare.net/jboner/
state-youre-doing-it-wrong-javaone-2009
6
http://www.parleys.com/play/51c0bc58e4b0ed877035680a/

STM


59 / 63


Получили зачёт

Получили зачёт

Ершов В.
Суворов Е.
Фёдоров К.


STM


60 / 63


Могут получить зачёт

Могут получить зачёт

Бакрадзе Л.
Грязнов С.
Егоров Д.
Королев Д.
Хомутов В.
Шашкова Е.


STM


61 / 63


Last Feature Requests

Last Feature Requests

2013-11-18
2013-11-25
2013-12-02
Batches
2013-12-09
Processing

7

FR8: Redis Hashes7
FR9: Compression
FR10: Multithreaded Node + Atomic
FR11: Server Side Filtering and

http://redis.io/commands#hash


STM


62 / 63

Вопросы?

Вопросы?

http://incubos.org/contacts/
Общие вопросы — в Twitter: @incubos
Вопросы по лекциям — в комментариях:
http://incubos.org/blog/
Частные вопросы — в почту
vadim.tsesko@gmail.com


STM


63 / 63

Software Transactional Memory

Recommended

More Related Content

What's hot (20)

Viewers also liked (13)

Similar to Software Transactional Memory (20)

Software Transactional Memory