Silverspoon Cluster

Oct 11, 2009Download as PPT, PDF0 likes835 views

HighLoad2009

Предпосылки Стремительный рост социального графа Возросшие требования к аппаратной части (сервера с большим объемом RAM) Необходимость обеспечения стабильности всей системы Устойчивость к выходу из строя нескольких серверов

Техническое задание Линейно маштабируемая система Увеличение производительности Рост базы Устойчивость к выходу из строя нескольких серверов Сохранения полной работоспособной базы Быстрое переключение на реплики

Разбиение базы n непересекающихся частей Равномерное распределение вершин Хранение прямых и обратных связей n 1 ... 4 3 2

Резервирование данных m 1 m 2 m 3 m k . . . player Monitoring

update (2PC) select 2 3 5 6 4 5 1 2 6 1 3 4 FrontEnd Client

5 6 4 5 1 2 6 1 2 3 3 4 Monitoring FrontEnd

5 6 4 5 1 2 6 1 2 3 3 4 FrontEnd Monitoring

Сложные запросы Cluster . . . ... player Lite BackEnds ... ... путь общие друзья друзья друзей

ТТХ кластера 6 непересекающихся частей Размер одной части – 6.5 млн. пользователей Предельная производительность Селекты - 150.000 rps Апдейты - 75.000 rps Время холодного старта – 90с Среднее время выполнения запроса - 0.8мс

Lightning Memory-Mapped Database (LMDB) - представляет собой интересный, во многом уникальный, движок базы данных класса Berkeley DB / Level DB. Будучи относительно малоизвестным, LMDB показывает чемпионскую производительность по чтению и предлагает ряд компромиссов для достижения невероятной производительности по записи. LMDB был создан для использования внутри известного проекта OpenLDAP с открытым исходным кодом. Как разработчик и поставщик решений для «больших телекомов», компания «Петер-Сервис» решила задействовать связку OpenLDAP+LMDB в одном из своих проектов. Это был вход в кротовую нору, всё было как в сказке – чем дальше, тем страшнее... В результате мы сделали клон/fork исходного проекта и создали высокопроизводительное стабильное решение промышленного масштаба с открытым исходным кодом. Расскажу о внутреннем устройстве LMDB, о выявленных недостатках и наших доработках для их устранения.

TMPA-2015: Multi-Platform Approach to Reverse Debugging of Virtual MachinesIosif Itkin

Инкапсуляция сетевой топологии при помощи ПКСARCCN

Алексей Андросов "HTML5 в Я.Почте"Yandex

2 июля 2011, Я.Субботник в Екатеринбурге Алексей Андросов "HTML5 в Я.Почте" О докладе: Вопросы практического применения современных технологий передачи и хранения данных в браузере на примере Яндекс.Почты, проблемы и ограничения, с которыми можно столкнуться, а также способы их решения. Для чего нужны WebSocket, localStorage и кроссдоменные AJAX запросы? Как реализовать их поддержку с учетом старых браузеров, которые не поддерживают эти технологии? Как обойти проблемы и баги в этих технологиях?

Операционные системы 2015, лекция № 4Aleksey Bragin

Тестирование QoS на экспериментальном стендеARCCN

Sef Trubach V1.2sef2009

Управление свободным пространством на файловой системе в UNIX и LinuxSQALab

Семинар 1. Многопоточное программирование на OpenMP (часть 1)Mikhail Kurnosov

Сергей Яркин, Тензор — RabbitMQ. Насколько ценен мех и вкусно мясо?Dev_Party

Лекция 5. Основы параллельного программирования (Speedup, Amdahl's law, Paral...Mikhail Kurnosov

Лекция 5: Многопоточное программирование: часть 1 (Multithreading programming...Mikhail Kurnosov

Lightweight Static Analysis for Data Race Detection in Operating System KernelsIosif Itkin

nginx.CHANGES.2015 / Игорь Сысоев, Валентин Бартенев (Nginx)Ontico

Олег Царев, Кирилл Коринский Сравнительный анализ хранилищ данныхSiel01

TMPA-2013 Sartakov: GenodeIosif Itkin

Системы хранения данныхyaevents

Apache Kafka Cluster - Russianconfluent

Архитектура и программирование потоковых многоядерных процессоров для научных...a15464321646213

Надежность World of Tanks ServerLevon Avakyan

В докладе я расскажу, как выглядит World of Tanks Server (кластер кластеров) со всеми веб-сервисами, которые существуют вокруг. Какие узкие места с точки зрения отказоустойчивости есть внутри кластера, между кластерами, во взаимодействии с внешними веб-сервисами. Как мы решаем возникающие проблемы технически, процессно, проектно.

Архитектура и программирование потоковых многоядерных процессоров для научных...a15464321646213

More Related Content

What's hot (7)

Дмитрий Еманов — Под капотом серверного ПОDaria Oreshkina

DevConf-2015: Lightning Memory-Mapped Database (LMDB), ReOpen ITLeonid Yuriev

TMPA-2015: Multi-Platform Approach to Reverse Debugging of Virtual MachinesIosif Itkin

Инкапсуляция сетевой топологии при помощи ПКСARCCN

Алексей Андросов "HTML5 в Я.Почте"Yandex

Операционные системы 2015, лекция № 4Aleksey Bragin

Тестирование QoS на экспериментальном стендеARCCN

Дмитрий Еманов — Под капотом серверного ПОDaria Oreshkina

DevConf-2015: Lightning Memory-Mapped Database (LMDB), ReOpen ITLeonid Yuriev

TMPA-2015: Multi-Platform Approach to Reverse Debugging of Virtual MachinesIosif Itkin

Инкапсуляция сетевой топологии при помощи ПКСARCCN

Алексей Андросов "HTML5 в Я.Почте"Yandex

Операционные системы 2015, лекция № 4Aleksey Bragin

Тестирование QoS на экспериментальном стендеARCCN

Similar to Silverspoon Cluster (20)