Синхронизация данных из PgSQL в Tarantool / Вениамин Гвоздиков (Calltouch)

Nov 15, 2017Download as PPTX, PDF1 like306 views

HighLoad++ 2017 Зал «Найроби + Касабланка», 8 ноября, 12:00 Тезисы: http://www.highload.ru/2017/abstracts/2848.html Часто возникает задача создать кэш перед какой-либо базой данных, будь это PgSQL или какая-нибудь другая БД, и иметь возможность быстро обратиться к данным и снизить нагрузку на БД. Но самое главное в такой задаче - иметь эти данные всегда актуальными между кэшем и самой БД. Исходя из этой ситуации выходит, что не все данные возможно хранить в кэше, так как у нас нет уверенности, что они актуальные на данный момент. ...

Синхронизация
данных
из PgSQL в Tarantool
Гвоздиков Вениамин, Calltouch

Инфраструктура под PgSQL
• 5 баз данных в режиме Master
• 5 баз данных в режиме Slave
• Pgbouncer

Оборудование
• Процессоры Intel(R) Xeon(R) CPU E5-2630 v4 @ 2.20GHz
• Память 125Gb
• Диски под базу SSD
• Сетевой адаптер Intel Ethernet i350 x2
Количество таких серверов 10 штук

Нагрузка на каждый из серверов
• avg_requests ~ 2000 х 10
• avg_query ~ 1000 х 10

Задача для умного кэша
• Быстрый доступ к данным
• Консистентность данных
• Синхронизация данных
• Изменение данных

Инструменты
• Tarantool
• Tarantool-pg
• Expirationd
• Http + Prometheus
• PL/Python

Ограничения
• Небольшое количество обновлений
• Небольшие объемы данных
• Согласованное проведение обновлений таблиц

"Мое выступление поможет ответить на следующие вопросы: 1. Что такое HTTP reverse proxy? 2. Настройка NGINX в режиме reverse proxy. 3. Стандартные способы выбора upstream server: Round Robin, Hash, Consistent Hash. 4. Не сдерживаем фантазию -- пишем свой алгоритм. 5. Примеры, когда создание собственного решения оправдано."

Консольные приложения на GoAndrey Smirnov

Мониторинг ожиданий в PostgreSQL / Курбангалиев Ильдус (Postgres Professional)Ontico

В многоядерных высоконагруженных системах с высокой конкурентностью часто бывает сложно определить, чем занят отдельный процесс PostgreSQL. Он может находиться в ожидании локов высокого уровня, таких как локи таблиц, внутренних локов, используемых для синхронизации процессов, ввода-вывода и многих других. В настоящий момент среди всех событий ожидания мониторить можно только локи высокого уровня с помощью представлений PostgreSQL. Другие типы ожиданий требуют использования низкоуровневых утилит типа perf, systemtap и других. Эти утилиты требуют специальных знаний и могут быть платформозависимыми. В то же время другие enterprise базы данных уже включают в себя инструменты для мониторинга ожиданий. Мы разработали патч, который реализует мониторинг ожиданий в PostgreSQL. С минимальной настройкой (несколько конфигурационных параметров) этот патч показывает полную информацию о текущих ожиданиях в режиме реального времени и с небольшим оверхедом на всю систему. Этот патч уже работает на продакшен серверах Яндекса и показал свою полезность.

nginx.CHANGES.2015 / Игорь Сысоев, Валентин Бартенев (Nginx)Ontico

Реализация восстановления после аварий / Сергей Бурладян (Avito)Ontico

Базы данных PostgreSQL занимают одно из центральных мест в Авито. Они являются разделяемой платформой, вокруг которой построено множество дополнительных сервисов. Одной из основных задач при их администрировании является задача восстановления после аварий как самих баз, так и связанной с ними инфраструктуры. В своём докладе я постараюсь рассказать про: + общую схему связей баз данных между собой и с другими компонентами; + точки отказа и виды аварий, затрагиваемые связи; + бинарную репликацию и архив; + логическую репликацию, pgq, londiste, UNDO (REDO), пересоздание репки; + скрипт и процедуру переключения при аварии; + планы: развитие «восстановлений» по всем связям, автоматика на основе системы zookeeper (etcd и т.п.).

Twisted Framework - сетевые приложения в PythonAndrey Smirnov

DNS в условиях хостинг-провайдера / Константин Новаковский (Selectel)Ontico

DNS — это одна из основополагающих служб и протоколов современного интернета, сервис, который должен всегда работать. Каждый раз, когда конечный пользователь обращается к какому-либо ресурсу глобальной паутины, он использует DNS, и чтобы этот самый первый шаг к проектам у наших клиентов не занимал много времени, мы построили свой DNS-хостинг с использованием Anycast-балансировки. Чуть позже мы применили этот метод для балансировки и повышения доступности рекурсивных серверов внутри наших дата-центров. В своём докладе я расскажу о способах обеспечения непрерывного обслуживания DNS-запросов, подводных камнях использования anycast’а, постараюсь раскрыть актуальные проблемы обслуживания DNS-серверов и поведаю о современных тенденциях в мире DNS.

Скорость с доставкой до пользователяAnatoliy Orlov

Кадры решают все, или стриминг видео, Александр Тоболь (Одноклассники)Ontico

Современная операционная система: что надо знать разработчику / Александр Кри...Ontico

Мы проговорим про связь приложения и ОС, какие компоненты есть в современной ОС на примере Linux, как настройки этих компонент могут повлиять на приложение. Я расскажу про планировщик процессов, дисковый и сетевой ввод-вывод и соответствующие планировщики, управление памятью - как это все в общих чертах работает и как его потюнить.

Анатомия веб сервиса (HighLoad-2014)Andrey Smirnov

Дмитрий Лазаренко-«Живая миграция и отказоустойчивость контейнеров в гибридно...Tanya Denisyuk

"Контейнеры могут динамически появляться и исчезать, являются легковесными, не резервируют все необходимые ресурсы при старте, потому их оркестрация дается не простой ценой. Каждый из виртуальных контейнеров в один момент времени может потребовать максимум доступных ему ресурсов и это может привести к тому, что закончатся все ресурсы на физическом сервере, на котором они размещаются. В докладе мы поговорим о механизме, который решает эту непростую задачу, и умеет проводить непрерывную балансировку нагрузки, перемещать контейнеры с одного физического сервера на другие для проведения технических работ без простоя приложений - умная живая миграция (Smart Live Migration). Многие считают, что контейнеры не подходят для хранения важных данных, т.к. в любой момент они могут упасть и все данные пропадут навсегда. Мы расскажем как этого избежать с помощью технологии Software-defined-storage."

Марина Широчкина: Верстка. Вид снизуYandex

Доклад Антона Поварова на Tarantool Meetup. "Tarantool в Badoo: хранение исто...Badoo Development

Каждый день на badoo.com пользователи просматривают порядка 100 миллионов профилей других юзеров. Мы храним счетчики и полную историю посещений за последние 90 дней, с некоторой агрегацией - это около 5 миллиардов ивентов. Система обрабатывающая этот поток данных создана давно и пережила несколько инкарнаций, становясь все ближе к базе данных. В какой-то момент мы решили перестать изобретать велосипед, отказались от демонов на C+sqlite, не стали делать на mysql-ях, редисах и мемкешах, а взяли и запилили на Tarantool. Рассказываем почему Tarantool, как шардим, реплицируем (все просто) и как плавно это дело внедрили на живой системе без downtime.

Zabbix: рецепты высокопроизводительного мониторинга / Алексей Владышев (Zabbix)Ontico

HighLoad++ 2017 Зал «Дели + Калькутта», 8 ноября, 15:00 Тезисы: http://www.highload.ru/2017/abstracts/3007.html Я расскажу о принципах создания высокопроизводительного мониторинга и о том, какие инструменты для этого существуют в Zabbix. Проанализируем результаты бенчмарков различных сценариев работы Zabbix, посмотрим, сколько метрик в секунду способна собирать и обрабатывать наша система мониторинга. Отвечу на вопрос, что и как влияет на производительность Zabbix? Будет очень много цифр и графиков! ...

Flashcache в mamba.ru / Яковлев Александр Юрьевич (ЗАО Мамба)Ontico

Некоторое время назад, когда в очередной раз встал вопрос о производительности большого парка mysql sharding серверов, мы не захотели покупать новые сервера и производить resharding. Мы обнаружили, что компания facebook выпустила в opensource большое количество своих разработок, в том числе и модуль ядра flashcache. Flashcache — модуль для кэширования блоков блочного устройства, предоставляющий 4 разных режима кэширования. В данном докладе я расскажу, как мы тестировали, поэтапно проверяя под нагрузкой, 3 из 4 режимов кэширования, сравнивая и выбирая оптимальный. Итогом данной работы стало внедрение данного модуля в нашу архитектуру (фотосервера, сервера БД).

OpenResty: превращаем NGINX в полноценный сервер приложений / Владимир Прота...Ontico

Все мы знаем, что NGINX – отличный прокси, который может качественно и эффективно распределять нагрузку между бэкендами и фильтровать запросы по определенным условиям. Но при этом часто на практике возникают задачи, которые не решаются его декларативной моделью описания конфигурации: иногда для принятия решения нам нужно сходить в базу данных (в Redis или даже в MySQL), другой сервис или произвести какую-то более сложную обработку запроса/ответа. Именно здесь к нам на помощь приходит мощь Lua и OpenResty. Из доклада вы узнаете: * зачем нам Lua внутри NGINX, и почему из седьмого айфона убрали разъем под наушники; * в каких ситуациях NGINX в паре с Lua справятся с задачей лучше вашего любимого PHP/NodeJS/Ruby/Python/Visual Basic и о прелестях асинхронного ввода-вывода без callback'ов; * как залезть к NGINX под капот, используя только высокоуровневый язык; * при чем здесь Openresty, или как упростить себе жизнь; * примеры бизнес-кейсов: от "умного" прокси до самостоятельного веб-приложения; * как оно ведет себя в продакшне под большой нагрузкой.

Внутреннее устройство PostgreSQL: временные таблицы и фрагментация памяти / Г...Ontico

Всем известно о существовании временных таблиц в PostgreSQL, но как они устроены, и чем грозит их некорректное использование - не столь очевидно. На примере одного известного приложения, активно и некорректно использующего временные таблицы, мы расскажем о создаваемой ими проблеме фрагментации памяти. Что такое фрагментация памяти, по каким признакам можно определить ее наличие, чем она грозит, почему она возникает при активном использовании временных таблиц, и как мы пропатчили PostgreSQL, чтобы ее избежать - обо всем этом можно узнать из нашего доклада.

Использование Hadoop в Badoo, Валерий Старынин (Badoo)Ontico

Андрей Федоренчик- «Высоконагруженная система с аналитикой на InfoBright»Tanya Denisyuk

Наша рекламная сеть прошла путь от 1М до 150M показов в сутки. На этом пути пришлось столкнуться с проблемами при логировании и анализе больших объемов данных. В итоге отказались от использования NonSQL базы данных и выбрали column-based InfoBright. В своем докладе я расскажу, как мы накапливаем, храним, обрабатываем и анализируем сотни гигабайт информации в день c использованием InfoBright.

Платформа для видео сроком в квартал. Александр Тоболь.odnoklassniki.ru

A talk from jokerconf.com conference. "Video Platform in 3 months. Delivered." by Alexander Tobol. Доклад не затронет какую-то особенную технологию или волшебный алгоритм. Речь пойдет о том, как чуть больше чем за квартал совсем небольшая команда перезапустила работающий в режиме 24/7 совсем немаленький видео-сервис на Одноклассниках на написанной с нуля платформе, развернутой на парке из свыше 200 серверов, распределенных между несколькими центрами обмена данными. Я бы хотел поделиться успехами и неудачами в ходе решения задачи по обеспечению бесперебойных загрузки, трансформации, хранения, раздачи видео и мониторинга, а также остановиться на особенностях, связанных с нагрузкой в 1000 просмотров в секунду, размером ежедневной аудитории в 8 миллионов географически распределенных в и за пределами РФ. Я также остановлюсь на некоторых использованных нами технологиях.

Twisted Framework - фреймворк для написания сетевых приложений на Python (Анд...Ontico

Как считать и анализировать сотни гигабит трафика в секунду, Станислав Николо...Ontico

"Отказоустойчивый standby PostgreSQL (HAProxy + PgBouncer)" Виктор Ягофаров (...AvitoTech

За счет чего Tarantool такой оптимальный / Денис Аникин (Mail.Ru)Ontico

Многие из вас, наверное, видели результаты тестов сравнения Tarantool с остальными СУБД, которые показывают, что Tarantool быстрее всех, оптимальней по памяти, обрабатывает наибольшее количество транзакций в секунду. И, несмотря на то, что исходные коды всех тестов полностью открыты и хорошо откомментированы, позволяя всем желающим повторить тесты, все равно остаются вопросы - за счет чего Tarantool такой быстрый и оптимальный? Я решил суммировать мои ответы на эти вопросы в докладе на Highload++. Итак, почему Tarantool такой быстрый? Краткий ответ: потому что он с самого начала разрабатывался и до сих пор разрабатывается во главе угла с производительностью/оптимальностью/минимальным потреблением всех ресурсов системы. Более полный ответ я раскрою в своем выступлении. Приходите, будет интересно! :)

Кадры решают все, или стриминг видео в «Одноклассниках». Александр Тобольodnoklassniki.ru

Я расскажу, как нам удалось более чем в 10 раз ускорить старт просмотра кино и сериалов с использованием технологий адаптивного стриминга MPEG-DASH и HLS. Вы узнаете, какие технологии попали в поле зрения команды, как ин-фраструктурные особенности, размер аудитории и специфика потребления на разных пользовательских устройствах повлияли на принятие решения о выборе технологии. Естественно, будет дан и подробный отчет о результатах внедрения решения и полученном эффекте. То есть около 50 млн. роликов, которые есть на «Одноклассниках», нужно раздать пользователям по стриминг-протоколу на скорости 40 Гбит/с с одного сервера и не хранить копии видео в разных форматах

Что нового и полезного в PostgreSQL 9.5 / Илья Космодемьянский (PostgreSQL-Co...Ontico

Доклад о новинках нового релиза PostgreSQL можно сделать экстремально скучным: взять release-notes и зачитать вслух. Но 9.5 обещает быть очень интересным релизом как с точки зрения улучшения производительности, так и функциональности - было бы жалко сделать о нем плохой доклад. Поэтому я выбрал несколько важных и нужных фич и расскажу про каждую - как она устроена, на что влияет и, главное, как ей разумно воспользоваться - максимум практических аспектов, минимум маркетинга. Без этого минимума нельзя, иначе мне никак не поделиться своим взглядом на то, как сейчас развивается PostgreSQL, и как жить пользователям Postgres'а при такой стратегии развития.

Тюним память и сетевой стек в Linux: история перевода высоконагруженных серве...odnoklassniki.ru

В процессе обновления высоконагруженных серверов раздачи видео (40Gbit/s с каждого сервера) со старого OpenSuSE 10.2 на новый CentOS 7 (время между релизами - 7 лет) мы столкнулись с рядом проблем - необъяснимый свопинг и запуски OOM killer, неравномерное распределение нагрузки по ядрам, обрывы соединений, скачки системной нагрузки на CPU. В докладе будет рассказано о том, как мы боролись с этими проблемами и какие технологии для этого использовали.

One-cloud — система управления дата-центром в Одноклассниках / Олег Анастасье...Ontico

HighLoad++ 2017 Зал «Калининград», 8 ноября, 15:00 Тезисы: http://www.highload.ru/2017/abstracts/2964.html Одноклассники состоят из более чем восьми тысяч железных серверов, расположенных в нескольких дата-центрах. Каждая из этих машин была специализированной под конкретную задачу - как для обеспечения изоляции отказов, так и для обеспечения автоматизированного управления инфраструктурой. ...

Масштабируя DNS / Артем Гавриченков (Qrator Labs)Ontico

HighLoad++ 2017 Зал «Калининград», 8 ноября, 16:00 Тезисы: http://www.highload.ru/2017/abstracts/3032.html Протокол DNS на семь лет старше, чем Всемирная паутина. Стандарты RFC 882 и 883, определяющие основную функциональность системы доменных имён, появились в конце 1983 года, а первая реализация последовала уже годом позже. Естественно, что у технологии столь старой и при этом по сей день активнейшим образом используемой просто не могли не накопиться особенности, неочевидные обыкновенным пользователям. ...

More Related Content

What's hot (20)