Отказоустойчивая обработка 10M OAuth токенов на Tarantool / Владимир Перепелица, Игорь Латкин (Mail.ru)
0 likes•1,112 views
Документ обсуждает отказоустойчивую обработку 10 миллионов OAuth токенов с использованием Tarantool, рассматривая проблемы и решения, связанные с репликацией и шarding. Также описывается применение RA (Raft) для выборов лидера и улучшения доступности системы. В итоге речь идет о горизонтальном масштабировании и полученном опыте в реализации решений для бизнес-задач.
![M
M
M
M100
Datapro
Dataline
net.box
require 'net.box'
--[[
tarantool
to tarantool
connector
]]
27 / 67](https://image.slidesharecdn.com/4-161114182149/85/10M-OAuth-Tarantool-Mail-ru-27-320.jpg)
![Ra Leader Elec on (on lua)
local r = self.pool.call(self.FUNC.request_vote, self.term, self.uuid)
self._vote_count = self:count_votes(r)
if self._vote_count > self._nodes_count / 2 then
log.info("[raft-srv] node %d won elections", self.id)
self:_set_state(self.S.LEADER)
self:_set_leader({ id=self.id, uuid=self.uuid })
self._vote_count = 0
self:stop_election_timer()
self:start_heartbeater()
else
log.info("[raft-srv] node %d lost elections", self.id)
self:_set_state(self.S.IDLE)
self:_set_leader(msgpack.NULL)
self._vote_count = 0
self:start_election_timer()
end
29 / 67](https://image.slidesharecdn.com/4-161114182149/85/10M-OAuth-Tarantool-Mail-ru-29-320.jpg)
![queue:put
function put(data)
local t = box.space.queue:auto_increment({
'r', --[[ status ]]
util.time(), --[[ time ]]
data --[[ any payload ]]
})
return t
end
58 / 67](https://image.slidesharecdn.com/4-161114182149/85/10M-OAuth-Tarantool-Mail-ru-58-320.jpg)
![queue:take
function take(timeout)
local start_time = util.time()
local q_ind = box.space.tokens.index.queue
local _,t
while true do
local it = util.iter(q_ind, {'r'}, { iterator = box.index.GE })
_,t = it()
if t and t[F.tokens.status] ~= 't' then
break
end
local left = (start_time + timeout) - util.time()
if left <= 0 then return end
t = q:wait(left)
if t then break end
end
t = q:taken(t)
return t
end
59 / 67](https://image.slidesharecdn.com/4-161114182149/85/10M-OAuth-Tarantool-Mail-ru-59-320.jpg)
![queue:taken
function queue:taken(task)
local sid = box.session.id()
if self._consumers[sid] == nil then
self._consumers[sid] = {}
end
local k = task[self.f_id]
local t = self:set_status(k, 't')
self._consumers[sid][k] = { util.time(), box.session.peer(sid), t }
self._taken[k] = sid
return t
end
60 / 67](https://image.slidesharecdn.com/4-161114182149/85/10M-OAuth-Tarantool-Mail-ru-60-320.jpg)
![queue:on_disconnect
function on_disconnect()
local sid = box.session.id
local now = util.time()
if self._consumers[sid] then
local consumers = self._consumers[sid]
for k,rec in pairs(consumers) do
time, peer, task = unpack(rec)
local v = box.space[self.space].index[self.index_primary]:get({k})
if v and v[self.f_status] == 't' then
v = self:release(v[self.f_id])
end
end
self._consumers[sid] = nil
end
end
61 / 67](https://image.slidesharecdn.com/4-161114182149/85/10M-OAuth-Tarantool-Mail-ru-61-320.jpg)
Отказоустойчивая обработка 10M OAuth токенов на Tarantool / Владимир Перепелица, Игорь Латкин (Mail.ru)
- 1. Отказоустойчивая обработка 10 миллионов OAuth токенов на Tarantool Mons Anderson Игорь Латкин
- 2. супероптимальность и производительность дисковое хранилище - vinyl json документы 2 / 67
- 3. Что ещё… 3 / 67
- 4. Get your data in RAM Compute close to data Enjoy the performance 4 / 67
- 5. О чём мы будем рассказывать? 5 / 67
- 6. О чём мы будем рассказывать? Оглянемся назад: что было 3 года назад? 6 / 67
- 7. О чём мы будем рассказывать? Оглянемся назад: что было 3 года назад? Какие проблемы были? 7 / 67
- 8. О чём мы будем рассказывать? Оглянемся назад: что было 3 года назад? Какие проблемы были? Master ⟷ Master репликация 8 / 67
- 9. О чём мы будем рассказывать? Оглянемся назад: что было 3 года назад? Какие проблемы были? Master ⟷ Master репликация В поисках Ra 'а 9 / 67
- 10. О чём мы будем рассказывать? Оглянемся назад: что было 3 года назад? Какие проблемы были? Master ⟷ Master репликация В поисках Ra 'а Объединяем Ra и шардинг 10 / 67
- 11. О чём мы будем рассказывать? Оглянемся назад: что было 3 года назад? Какие проблемы были? Master ⟷ Master репликация В поисках Ra 'а Объединяем Ra и шардинг Оцениваем результат 11 / 67
- 12. Зачем? Сборщики почты Вход внешней почтой Хранение адресных книг Выдача действующего access_token 12 / 67
- 13. Что такое OAuth токен? { "token_type" : "bearer", "access_token" : "XXXXXX", "refresh_token" : "YYYYYY", "expires_in" : 3600 } 13 / 67
- 14. 2013 г. первая схема классика (M-S) Ref Ref rw Master Slave F rw F rw ro rw replication ro 14 / 67
- 15. Что такое OAuth токен? { "token_type" : "bearer", "access_token" : "XXXXXX", "refresh_token" : "YYYYYY", "expires_in" : 3600 } 15 / 67
- 17. Проблемы? 25% Outage за 15 минут 50% Outage за 30 минут 100% Outage за 1 час 17 / 67
- 18. Проблемы? 25% Outage за 15 минут 50% Outage за 30 минут 100% Outage за 1 час 2015 г. - 100% CPU (много бизнес-логики и индексов) Вторичная логика влияет на основную задачу 18 / 67
- 19. 1.6 + Новый Tarantool Master-Master replica on 19 / 67
- 20. ⓘ 3 датацентра 3 копии MM - репликация 20 / 67
- 23. Paxos ? 23 / 67
- 24. Paxos ? 24 / 67
- 25. Ra ! 25 / 67
- 27. M M M M100 Datapro Dataline net.box require 'net.box' --[[ tarantool to tarantool connector ]] 27 / 67
- 29. Ra Leader Elec on (on lua) local r = self.pool.call(self.FUNC.request_vote, self.term, self.uuid) self._vote_count = self:count_votes(r) if self._vote_count > self._nodes_count / 2 then log.info("[raft-srv] node %d won elections", self.id) self:_set_state(self.S.LEADER) self:_set_leader({ id=self.id, uuid=self.uuid }) self._vote_count = 0 self:stop_election_timer() self:start_heartbeater() else log.info("[raft-srv] node %d lost elections", self.id) self:_set_state(self.S.IDLE) self:_set_leader(msgpack.NULL) self._vote_count = 0 self:start_election_timer() end 29 / 67
- 32. Ref Ref M M M Ref M100 Datapro Dataline Leader Abandoned Follower Ra ? случился split две ноды ok, одна оторвана 32 / 67
- 33. x = 1x = 1 x := 2 x := 3 x = 3 x = 2 x = 2 x = 3 M-M реплицирует все изменения 33 / 67
- 34. x = 1x = 1 x := 2 x := 3 x = 3 x = 2 x = 2 x = 3 M-M реплицирует все изменения консистентность? 34 / 67
- 35. OAuth Token Refresh-T Access-T ∞* 1 h Token Refresh( Refresh-T ) = Access-T1 Refresh( Refresh-T ) = Access-T2 ... : : 35 / 67
- 36. R+A1 Leader Follower replicate R+A1 split R+A2 R+A3 split ends R+A3 R+A2 R+A4 replicate R+A4 Abandoned refresher работает и с leader и с abandoned 36 / 67
- 37. Обычно связанных нод N/2 + 1 запросов max 1x Доступность 37 / 67
- 38. Обычно связанных нод N/2 + 1 запросов max 1x У нас связанных нод 1 запросов max Nx Доступность 38 / 67
- 39. 100% CPU Осталась ещё одна проблема 39 / 67
- 40. 100% CPU Sharding! Осталась ещё одна проблема 40 / 67
- 41. 100% CPU Sharding! Осталась ещё одна проблема Кто знает что такое шардинг? 41 / 67
- 42. 100% CPU Sharding! Осталась ещё одна проблема Кто знает что такое шардинг? Кто делал свой шардинг? 42 / 67
- 43. Shard #2 Master 2 Slave 2 f(key) ➝ shard # Shard #1 Master 1 Slave 1 43 / 67
- 44. Client1 f(key) Client2f(key) Shard #1 Shard #2 Shard #N 44 / 67
- 45. Client1 Client2 Shard #1 Shard #2 Shard #N f(key) f(key) f(key) 45 / 67
- 49. А не много ли соединений? 49 / 67
- 50. Проблема Full mesh: N2 соединений N × (N-1) 50 / 67
- 51. Shard #1 M M M M MM Leader Leader Shard #2 P P 51 / 67
- 52. N × const const = p + n - 1 (n = 3, p = 3) 52 / 67
- 53. MM + Ra + Shard + Proxy = Cluster 53 / 67
- 54. F F R R... Rab Rab... 1 1Tokens Cluster Address Book Cluster 54 / 67
- 55. Shard #1 M M M M MM Leader Leader Shard #2 P P 55 / 67
- 56. to refresh no need to refreshexpired 60s first order old age second order 4 min third order 1 hour expira on me index Refresh 56 / 67
- 57. no fy put() index lookup or wait wait take() session stash disconnect channel id status payloadme pk 57 / 67
- 58. queue:put function put(data) local t = box.space.queue:auto_increment({ 'r', --[[ status ]] util.time(), --[[ time ]] data --[[ any payload ]] }) return t end 58 / 67
- 59. queue:take function take(timeout) local start_time = util.time() local q_ind = box.space.tokens.index.queue local _,t while true do local it = util.iter(q_ind, {'r'}, { iterator = box.index.GE }) _,t = it() if t and t[F.tokens.status] ~= 't' then break end local left = (start_time + timeout) - util.time() if left <= 0 then return end t = q:wait(left) if t then break end end t = q:taken(t) return t end 59 / 67
- 60. queue:taken function queue:taken(task) local sid = box.session.id() if self._consumers[sid] == nil then self._consumers[sid] = {} end local k = task[self.f_id] local t = self:set_status(k, 't') self._consumers[sid][k] = { util.time(), box.session.peer(sid), t } self._taken[k] = sid return t end 60 / 67
- 61. queue:on_disconnect function on_disconnect() local sid = box.session.id local now = util.time() if self._consumers[sid] then local consumers = self._consumers[sid] for k,rec in pairs(consumers) do time, peer, task = unpack(rec) local v = box.space[self.space].index[self.index_primary]:get({k}) if v and v[self.f_status] == 't' then v = self:release(v[self.f_id]) end end self._consumers[sid] = nil end end 61 / 67
- 63. Shard #1 Master 1 Slave 1 Shard #2 Master 2 Slave 2 DB Queue Q3 Q2 Quorum Validator Q1 63 / 67
- 64. Итог Проблема outage решена Горизонтальное масштабирование Проблема N2 сведена к N×const Релизована логика на очереди под бизнес-задачу 64 / 67
- 65. Получено очень много опыта при написании собственной реализации Ra 65 / 67
- 66. Get your data in RAM Compute close to data Enjoy the performance 66 / 67
- 67. tarantool.orgDocumenta on: try.tarantool.orgTry it online: github.com/tarantoolExplore it: Ques ons? 67 / 67