AVITO. Решаем проблемы по мере их поступления. Стачка 2013
3 likes•3,591 views
Документ описывает проблемы и решения, связанные с проектом Avito, включая детали о росте аудитории, технические аспекты и вызовы, такие как спам и недостатки в модерации. Приведены данные о нагрузке на систему и требования к инфраструктуре, а также технологии, используемые для оптимизации производительности. Основное внимание уделяется анализу возникающих проблем и методам их преодоления для поддержания стабильности сервиса.
AVITO. Решаем проблемы по мере их поступления. Стачка 2013
- 1. Решаем проблемы по мере их поступления Роман Павлушко Ульяновск, 2013 #nastachku
- 2. О докладе Большое кол-во тем Поверхностно Подробности в вопросах
- 3. О проекте Текст http://www.avito.ru/company
- 4. О проекте Цифры • Месячная аудитория 40 млн человек • 150 млн просмотров в день • 400+ тыс. новых объявлений в день • 10+ разработчиков • 120 серверов
- 5. О проекте Динамика роста 150 000 000 135 000 000 120 000 000 105 000 000 90 000 000 75 000 000 60 000 000 45 000 000 30 000 000 15 000 000 0 Окт 10 Янв 11 Апр 11 Июл 11 Окт 11 Янв 12 Апр 12 Июл 12 Окт 12 Янв 13 Апр 13
- 6. О проблемах
- 7. О проблемах Нежданно-негаданно • Железо • DDoS • Спамеры • Спец-проекты
- 8. ...и из-за мелочей • Небольшая недоработка • Уникальный пользователь • Погода а эффект домино или трафик может довести проблему до критической
- 9. О проблемах Стоимость стоимость устранения прямые потери от проблемы недополученная выгода репутационные потери
- 10. О проблемах Решения • Самостоятельное решение • Поиск и анализ сторонних решений • Советы опытных людей • Отложить проблему до проявления
- 11. Темная сторона популярности
- 12. Темная сторона Спам и мошенники • Спам в сообщениях • Спам в объявлениях • SMS-cпам • «Конкуренты» • Нигирийцы • Продавцы краденого
- 13. Темная сторона Дубликаты • Мешают продавцам • Мешают пользователям • Усложняют аналитику
- 14. Проблемы роста
- 15. Проблемы роста Поддержка проекта • Модерация контента • Поддержка клиентов • Технический долг
- 16. Проблемы роста Частая смена архитектуры • Эффективное использование ресурсов • Расщепление приложения на сервисы • Повышение порога вхождения • Упрощение разработки
- 17. Проблемы роста Накладные расходы • Запас производительности • Отказоустойчивость • Мониторинг по всем фронтам • Детальный анализ A/B-тестов
- 18. Проблемы роста Приложение • Рост нагрузки: кеширование, зеркала • Качество кода: code style, tests, etc. • Объем кода: подпроекты • Отказоустойчивость: nginx
- 19. Проблемы роста Приложение – конфигурация Проблема Внешние сервисы ненадежны set App0 App1 AppN get Redis0 Master Redis0 Redis1 RedisN RedisN Slaves Redis Replication
- 20. Проблемы роста Приложение – время отклика • все сетевые соединения через pools • оптимизация запросов к базе и поиску • при сборке проекта прекешируем данные
- 21. Проблемы роста Приложение – технологии • nginx (http://nginx.org/) • PHP-fpm (http://php-fpm.org/) • Phing (http://www.phing.info/) • PHP CodeSniffer (http://pear.php.net/) • PHP CPD (https://github.com/sebastianbergmann/phpcpd) • Selemium (http://seleniumhq.org/)
- 22. Проблемы роста Интернет-трафик • Отдельный хост для отдачи (.avito.st) • Удаление метаданных картинок • Правильно настроенный web-сервер Expires, Last-Modified, Cache-control, gzip • Минимизация и склейка js и css файлов • Lazy load для картинок
- 23. Проблемы роста Поиск • Нагрузка: репликация (5000 rps) • Размеры индексов: шардинг, оптимизации • Ошибки: словари, триграммы • Усложнение запросов: индексы • Кеширование
- 24. Проблемы роста Поиск – архитектура Pg MV Repl 1. Построение снапшота в реплике indexer 2. Индексация в N потоков (xargs) master uftp + rsync 3. Деплой индексов на слейвы (uftp) 4. Синхронизация индексов (rsync) full category x8 5. Ротация индексов (-hup) x38 HA 6. Сброс кеша HA HA App App App
- 25. Проблемы роста Поиск – технологии • Sphinx (http://sphinxsearch.com/) • PostgreSQL (http://www.postgresql.org/) • SkyTools (http://pgfoundry.org/projects/skytools/) • uftp (http://www.tcnj.edu/~bush/uftp.html) • HAProxy (http://haproxy.1wt.eu/)
- 26. Проблемы роста Данные • PostgreSQL • оптимизации запросов • репликация MV • шардинг • Redis для горячих данных
- 27. Проблемы роста Данные – технологии • PostgreSQL (http://www.postgresql.org/) • SkyTools (http://pgfoundry.org/projects/skytools/) • PgBouncer (http://pgfoundry.org/projects/pgbouncer/) • Memcached (http://memcached.org/) • memagent (https://code.google.com/p/memagent/) • Redis (http://redis.io/)
- 28. Проблемы роста Статика • Объем: ~15TB (миллиард картинок) • 100 нод на ~33 серверах • Модуль nginx_upload • $node.img.avito.st для отдачи
- 29. Проблемы роста Ищем клевых разработчиков
- 30. Спасибо! Вопросы? Роман Павлушко [email protected] slideshare.net/pavlushko pavlushko_roman @pavlushko