Tempesta FW: challenges, internals, use cases / Александр Крижановский (Tempesta Technologies)
1 like1,216 views
Документ обсуждает систему Tempesta FW, её внутренние возможности и вызовы, связанные с производительностью веб-серверов и фильтрацией вредоносного трафика. Представлены различные технологии и методы для оптимизации обработки сетевого трафика, включая применение machine learning и уникальные подходы к асинхронному вводу-вывозу. Также затрагиваются вопросы DDoS-атаки, минималистичного веб-прокси и новых подходов к организации веб-кэша.
![Пример
srv_group static { # sched=round-robin
server 10.10.0.1:8080;
server [fc00::2]:8081;
}
srv_group dynamic sched=hash {
server 10.10.0.3:8080; # conns_n = 4
server [fc00::4]:8081 conns_n=8;
}
srv_group black_hole { }
sched_http_rules {
match black_hole hdr_raw prefix "X-Bad:";
match static uri prefix "/static/";
match dynamic * * *;
}](https://image.slidesharecdn.com/8-160114221024/85/Tempesta-FW-challenges-internals-use-cases-Tempesta-Technologies-71-320.jpg)
Tempesta FW: challenges, internals, use cases / Александр Крижановский (Tempesta Technologies)
- 1. Tempesta FW: challenges, internals, use cases Александр Крижановский
- 2. Привет :) • Tempesta Technologies — с 2014, подразделение NatSys Lab • NatSys Lab — с 2008, разработка высокопроизводительных систем – хранения – обработки сетевого трафика • Сделали cамую быструю реализацию lock-free очереди задач (Linux Journal, Jun 12, 2013) • Исследовали производительность Intel TSX
- 3. Challenges (Зачем?) • Современный Internet бывает зол • Но есть Web-рыцари добра и света
- 4. Challenges (Зачем?) • Современный Internet бывает зол • Но есть Web-рыцари добра и света • .., которые фильтруют плохие запросы
- 5. Рыцарь WAF • Оружие: XHTML, WSDL, Machine learning, Regexps • Платформа: Nginx, Apache Traffic Server etc.
- 6. Пример: Nginx + regexps 0 5000 10000 15000 20000 25000 30000 35000 0 5000 10000 15000 20000 25000 30000 4168 4133 6855 HyperScan Vanilla Nginx PCRE-JIT Target RPS ActualRPS
- 7. Результат: WAF 15K HTTP RPS на 24 ядрах (а хочется >100KRPS)
- 9. Рыцарь Anti-DDoS CDN • Оружие: DPI или Firewall + Machine Learning • Платформа: Nginx
- 10. Application layer DDoS Service from Cache Rate limit Nginx 22us 23us
- 11. Application layer DDoS Service from Cache Rate limit Nginx 22us 23us • Fail2Ban: пишем файл, парсим файл, пишем файл, парсим файл…
- 12. Application layer DDoS Service from Cache Rate limit Nginx 22us 23us • Fail2Ban: пишем файл, парсим файл, пишем файл, парсим файл… - 21й век?!
- 13. Что не может Web-сервер? • Фильтровать DDoS трафик – мелкие запросы – флуды
- 14. Что не может Web-сервер? • Фильтровать DDoS трафик – мелкие запросы – флуды • Быстро работать (c10k => c100k) ??!!
- 15. Профиль Web-сервера % symbol name 1.5719 ngx_http_parse_header_line 1.0303 ngx_vslprintf 0.6401 memcpy 0.5807 recv 0.5156 ngx_linux_sendfile_chain 0.4990 ngx_http_limit_req_handler + довольно длинный хвост
- 16. Вызовы Web-сервера epoll_wait(.., {{EPOLLIN, ....}},...) recvfrom(3, "GET / HTTP/1.1rnHost:...", ...) // parse HTTP write(1, “...limiting requests, excess...", ...) writev(3, "HTTP/1.1 503 Service...", ...) sendfile(3,..., 383) recvfrom(3, ...) = -1 EAGAIN epoll_wait(.., {{EPOLLIN, ....}}, ...) recvfrom(3, "", 1024, 0, NULL, NULL) = 0 close(3)
- 17. HTTP парсер Start: state = 1, *str_ptr = 'b' while (++str_ptr) { switch (state) { <= check state case 1: switch (*str_ptr) { case 'a': ... state = 1 case 'b': ... state = 2 } case 2: ... } ... }
- 18. HTTP парсер Start: state = 1, *str_ptr = 'b' while (++str_ptr) { switch (state) { case 1: switch (*str_ptr) { case 'a': ... state = 1 case 'b': ... state = 2 <= set state } case 2: ... } ... }
- 19. HTTP парсер Start: state = 1, *str_ptr = 'b' while (++str_ptr) { switch (state) { case 1: switch (*str_ptr) { case 'a': ... state = 1 case 'b': ... state = 2 } case 2: ... } ... <= jump to while }
- 20. HTTP парсер Start: state = 1, *str_ptr = 'b' while (++str_ptr) { switch (state) { <= check state case 1: switch (*str_ptr) { case 'a': ... state = 1 case 'b': ... state = 2 } case 2: ... } ... }
- 21. HTTP парсер Start: state = 1, *str_ptr = 'b' while (++str_ptr) { switch (state) { case 1: switch (*str_ptr) { case 'a': ... state = 1 case 'b': ... state = 2 } case 2: ... <= do something } ... }
- 22. HTTP парсер
- 23. Асинхронный I/O
- 24. Асинхронный I/O
- 25. Асинхронный I/O
- 26. Асинхронный I/O
- 27. Итого: Web-сервер • Медленный HTTP парсинг • Контекст свитчи • Копирование • Асинхронная модель I/O • Файлы и файловые дескрипторы • Web-cache не имеет представления о NUMA
- 28. Linux?
- 29. Linux zero-copy I/O - миф tcp_transmit_skb(sock *sk, sk_buff *skb, int clone_it, ...) { ... if (likely(clone_it)) skb = pskb_copy(skb, gfp_mask); else skb = skb_clone(skb, gfp_mask); ... }
- 30. Что делают современники? “...standard servers running an in-house OS. The key to achieve that performance was to disable IRQs, no syscalls, no context switching, no kernel, no memcopy, new stack etc. Basically in few hundreds ticks a packet hits the nginx or whatever application runs on it.”
- 31. User-space TCP/IP (~Exokernel ОС) • Sandstorm – Netmap – Специализированный TCP/IP стек: ● Web-сервер «знает» о пакетах ● преаллокация пакетов – syscall batching (latency) • mTCP (http://shader.kaist.edu/mtcp/) – PSIO, DPDK – TCP/IP stack from scratch (~15KoL, linux >130KoL)
- 32. Итого: User- vs Kernel-space • Проблемы Web-сервера не уходят (прикладной уровень не «знает» о сетевом) • Все равно есть syscall'ы (немного) • Фиксированный размер буферов • Неконтролируемое вытеснение (lock-free, RCU, spinlock) • Большой дублирующий пласт кода
- 34. И снова синхронизация... ...приходим к тем же локам и копированиям
- 35. Не только TCP/IP, но и СУБД • Web-cache • Сессии • Правила фильтрации • Web Application Server: вообще что угодно • WAF & DDoS mitigation: модели обучения и пр.
- 36. Что делают разработчики СУБД? • Buffer pool (page cache в ОС) • Планирование I/O ( --''-- в ОС) • Префетчинг блоков ( --''-- в ОС) • Транзакционный лог ( --''-- в ФС) • open(O_DIRECT) (OS bypass)...
- 37. Что думают об этом разработчики ядра «In short, the whole "let's bypass the OS" notion is just fundamentally broken. It sounds simple, but it sounds simple only to an idiot who writes databases and doesn't even UNDERSTAND what an OS is meant to do.» Linus Torvalds «Re: O_DIRECT question» https://lkml.org/lkml/2007/1/11/129
- 38. Tempesta FW • Минималистичная и очень быстрая реализация в ядре – Web-прокси и Web-сервер – Key-value in-memory база данных (Tempesta DB)
- 39. Tempesta FW • Минималистичная и очень быстрая реализация в ядре – Web-прокси и Web-сервер – Key-value in-memory база данных (Tempesta DB) • Фаервол на сетевых уровнях IP, TCP, HTTP
- 40. Tempesta FW • Минималистичная и очень быстрая реализация в ядре – Web-прокси и Web-сервер – Key-value in-memory база данных (Tempesta DB) • Фаервол на сетевых уровнях IP, TCP, HTTP • Оптимизация и доработка вместо специализации
- 41. Tempesta FW: macrokernel? • Прикладная логика в user-space – Tempesta DB: tdbq → libtdb → kernel engine – Tempesta FW: CGI-like zero-copy интерфейс (TODO)
- 42. Cинхронный I/O • Вся работа в softirq
- 43. Cинхронный I/O • Вся работа в softirq • Нет очередей (на чтение)
- 44. Cинхронный I/O • Вся работа в softirq • Нет очередей (на чтение) • Нет файловых дескрипторов
- 45. Cинхронный I/O • Вся работа в softirq • Нет очередей (на чтение) • Нет файловых дескрипторов • Меньше блокировок
- 46. Cинхронный I/O • Вся работа в softirq • Нет очередей (на чтение) • Нет файловых дескрипторов • Меньше блокировок => Быстрее чтение (и парсинг HTTP!)
- 48. Быстрый HTTP парсер 237ms 470ms http://natsys-lab.blogspot.ru/2014/11/the-fast-finite-state- machine-for-http.htmlc
- 50. Tempesta DB In-memory Key-Value • Cache conscious Burst Hash Trie
- 51. Tempesta DB In-memory Key-Value • Cache conscious Burst Hash Trie • Lock-free (почти)
- 52. Tempesta DB In-memory Key-Value • Cache conscious Burst Hash Trie • Lock-free (почти) • Huge pages
- 53. Tempesta DB In-memory Key-Value • Cache conscious Burst Hash Trie • Lock-free (почти) • Huge pages • Быстрый транспорт в/из user-space
- 55. Web-кэш • На основе Tempesta DB • NUMA-aware
- 58. Frang: HTTP DoS • Rate limits – request_rate, request_burst – connection_rate, connection_burst – concurrent_connections
- 59. Frang: HTTP DoS • Rate limits – request_rate, request_burst – connection_rate, connection_burst – concurrent_connections • Slow HTTP – client_header_timeout, client_body_timeout – http_header_cnt – http_header_chunk_cnt, http_body_chunk_cnt
- 60. Frang: WAF • Ограничения размеров – http_uri_len, http_field_len, http_body_len
- 61. Frang: WAF • Ограничения размеров – http_uri_len, http_field_len, http_body_len • Допустимые значения – http_ct_required, http_ct_vals – http_methods
- 66. Балансировка нагрузки • Динамический реконнект
- 67. Балансировка нагрузки • Динамический реконнект • Конфигурируемое число соединений к бакендам
- 68. Балансировка нагрузки • Динамический реконнект • Конфигурируемое число соединений к бакендам • Планировщики – HTTP (по группам серверов) ● Wildcards, full match, prefix ● Метод, URI, Host ● Любые заголовоки
- 69. Балансировка нагрузки • Динамический реконнект • Конфигурируемое число соединений к бакендам • Планировщики – HTTP (по группам серверов) ● Wildcards, full match, prefix ● Метод, URI, Host ● Любые заголовоки – Round-robin (внутри групп серверов)
- 70. Балансировка нагрузки • Динамический реконнект • Конфигурируемое число соединений к бакендам • Планировщики – HTTP (по группам серверов) ● Wildcards, full match, prefix ● Метод, URI, Host ● Любые заголовоки – Round-robin (внутри групп серверов) – Rendezvous hashing
- 71. Пример srv_group static { # sched=round-robin server 10.10.0.1:8080; server [fc00::2]:8081; } srv_group dynamic sched=hash { server 10.10.0.3:8080; # conns_n = 4 server [fc00::4]:8081 conns_n=8; } srv_group black_hole { } sched_http_rules { match black_hole hdr_raw prefix "X-Bad:"; match static uri prefix "/static/"; match dynamic * * *; }
- 72. Sticky cookie • Идентификация пользователей • enforce: HTTP 302 redirect sticky name=__tfw_user_id__ enforce;
- 73. А не страшно ли в ядре? #include <linux/module.h> static int oops_init(void) { BUG(); } module_init(oops_init); # insmod oops.ko || echo "$?, but I'm alive" Segmentation fault 139, but I'm alive # dmesg|grep oops.c kernel BUG at /root/oops_failover/oops.c:4!