Евгений Куршев, Яндекс.Метрика вместо сериалов: анализируем поведение пользователей, Optimization2016

Jan 17, 2017Download as PPTX, PDF0 likes95 views

Optimization conference

Доклад на конференции Optimization 2016.

Евгений Куршев, Яндекс.Метрика вместо сериалов: анализируем поведение пользователей, Optimization2016

Что бы это значило?
│Запись динамического
контента

Изменяемые объявления, «Другие статьи на эту тему», лента
новостей, бесконечно подгружаемая лента и т.д.
│Персонализация

Этого больше не будет:
│Простота подключения

https://yandex.ru/blog/metrika
Q1 – постепенный переход желающих
│Следите за новостями

Logs API
• Данные за всю историю счётчика
• Все визиты и все просмотры
• TSV
10

│Объединение данных из
разных источников

ClickHouse timeline
16
Prototype
Январь 2009 Август 2012
Data
Transfer
Июнь 2014
Metrica 2.0
Декабрь 2014 Июнь 2016
Open
Source
Production

Основные идеи при создании ClickHouse
• SQL
• Линейная масштабируемость
• Фокус на быстром выполнении запросов
• Column-oriented
17

ClickHouse сегодня
• Более 20 проектов в Яндексе
• Open-source с июля 2016
• В продакшне вне Яндекса
18

Запросы
• SQL диалект
• Приблизительные вычисления, URI функции
• Массивы, кортежи
• Распределённые запросы из коробки
• Внешние словари
19

С чего начать?
• Tutorial: https://clickhouse.yandex/tutorial.html
• Пишите вопросы: clickhouse-feedback@yandex-team.com
• GitHub: https://github.com/yandex/ClickHouse
• Больше информации: https://clickhouse.yandex
20

│Скрипт выгрузки данных из
Logs API в локальный
ClickHouse

Интерфейсы ClickHouse
• Консольный клиент
• HTTP
• JDBC
• Python, PHP, NodeJS,
Go и Perl коннекторы
23

Пример запроса
# Weekly traffic and audience
SELECT
count() as visits,
sum(PageViews) as hits,
uniq(UserID) as users
FROM visits_all
WHERE StartDate > today() - 7
24

metrika@support.yandex.ru
Евгений Куршев

Аудитория Shadow Fight 2, насчитывающая 50 миллионов игроков, ежедневно генерирует огромное количество событий, анализ которых происходит в реальном времени. Доклад посвящен архитектуре системы аналитики на основе поискового движка Elasticsearch. Будет рассмотрен технологический стек Elasticsearch, Logstash, Kibana, который позволяет в сжатые сроки создать гибкое и надежное решение. Также Вячеслав поможет разобраться со схемой обработки событий, моделью данных и особенностями настройки, расскажет о команде и трудозатратах на разработку и поддержку системы

OlapForkConf

Владимир Русинов "Яндекс.Диск. Полет нормальный"Yandex

6 апреля 2013 года Яндекс.Диску исполнился один год. В докладе рассказывается о том, что произошло с сервисом за этот год, какие продуктовые и технологические задачи решала команда, с какими проблемами столкнулись и чему научились.

«Архитектура Справочного API 2ГИС» — Сергей Коржнев, 2ГИС2ГИС Технологии

В своем докладе мы рассмотрим архитектуру сервиса и основные инфраструктурные процессы. Архитектура: Yii-фреймворк и компоненты, PgSQL, Sphinx, С++-демоны для многокритериального поиска. Развертывание: серверы (Новосибирск, Москва, Амстердам), Phing, Chef. Мониторинг: Zabbix API, Pinba + утилита профилирования методов API, Graylog. Кеширование: Nginx + Lua, Redis, APC, шардинг кеша и инвалидация. Также мы расскажем, как нам удаётся стабильно делать релизы каждый вторник и обновлять данные по всем городам каждый день. И многое другое… Справочный API 2ГИС — крупнейший REST API в Рунете. Более 300 партнёров, среди которых 2ГИС-Онлайн, Mail.ru, НГС, Е1.ru. Месячная аудитория — 14 млн. Сервис предоставляет информацию об 1.3 млн. фирм и 1.8 млн. POI в 200 городах России, Падуе (Италия), нескольких городах в Украине и Казахстане.

Простая и дешёвая бизнес-аналитика на базе Google BigQuery / Алексей Паршуков...Ontico

РИТ++ 2017, Backend Conf Зал Сан-Паулу, 6 июня, 14:00 Тезисы: http://backendconf.ru/2017/abstracts/2778.html Хотите научиться принимать решения на основе данных, но не знаете, с чего начать? Нужно записать миллионы событий, но не уверены, как делать это правильно? Вы не знаете, как быстро и дёшево строить аналитические отчеты или запутались в инструментах? На примере DocDoc я расскажу о плюсах и минусах различных подходов: как выбрать систему хранения, почему мы остановились на Google BigQuery. Как правильно организовать данные, записать свой clickstream, отказаться от сэмплирования в GA, а также строить простые и понятные отчеты.

Конструктор веб-форм и баз данных онлайнDmitry Savchenko

Микросервисы для Machine Learning / Дмитрий Ходаков (Avito)Ontico

РИТ++ 2017 Зал Сан-Паулу, 5 июня, 18:00 Тезисы: http://ritfest.ru/2017/abstracts/2723.html Рекомендательные сервисы стали неотъемлемой частью практически любого крупного проекта. Мы готовим рекомендации объявлений, обрабатывая все действия пользователей при помощи машинного обучения. Писать софт сложно, писать обучающийся софт сложно втройне. Из доклада вы узнаете: - какие трудности можно встретить при построении архитектуры распределенного пайплайна для обучения моделей; - как традиционные микросервисы помогают организовывать доставку результатов в продакшн-окружение; - как не очень традиционные микросервисы помогают нам организовать обучение моделей; - чем отличаются подходы в ml по сравнению с традиционной разработкой.

Опыт работы с Qlik в компании ВТБ Страхование Marina Payvina

DevOps в команде TeamCity. Евгений Кошкин, Senior Software Developer, TeamCityJetBrains Russia

DevOps в проекте Upsource. Андрей Сизов, System AdministratorJetBrains Russia

Опыт работы с Qlik в компании ГК ЛудингMarina Payvina

От больших к очень большим данным — зачем нужна нормализация в Big Data / Гол...Ontico

Спроектировать хранилище данных, казалось бы, не сложно. Собрать требования -> построить модель данных -> реализовать ETL. Но проходит год-два, и рост объема данных, и, главное, рост сложности данных приводит хранилище на грань работоспособности. В докладе будет проиллюстрировано, как Big Data хранилище Авито экспоненциально увеличивалось в размерах данных и сложности их взаимосвязей вместе с ростом объема и сложности бизнеса компании, сохраняя скорость выполнения запросов. Будет обосновано, почему следование ограничениям 6-й нормальной формы (Anchor Modeling) помогает не утонуть в новых данных и успешно масштабировать нагрузку в условиях MPP СУБД. В качестве финального штриха будет рассказано, как высоконормализованная модель данных Anchor Modeling позволяет малыми усилиями сделать шаг за пределы СУБД к хранению части данных в виде (ORC) файлов в распределенной файловой системе (HDFS) к сохранению для пользователей возможности работать со всеми данными посредством (почти) обычного SQL (без Hive).

Разработка аналитической системы для высоконагруженного медиа, Олег Новиков, ...Ontico

Автоматизация анализа логов на базе ElasticsearchPositive Hack Days

QlikView в Лудинг: Единый центр принятия решенийMarina Payvina

NoBigData - потоковая система аналитики clientside производительности, Сергей...Ontico

Эволюция клиентской разработки: от веба ко "всеобщей мобилизации” или mobile-...Pavel Dovbush

История развития проекта с точки зрения клиентских технологий - от веб-сайта к появлению мобильных клиентов и смещению фокуса к mobile-first разработке. Общие черты нашей архитектуры и их отличия от стандартных решений. Единый протокол общения с приложениями iOS/Android/WindowsMobile/MobileWeb/Web и особенности реализации для JavaScript платформ (десктопные и мобильные браузеры). Изменение процесса разработки и подходов к реализации нового функционала для переключения на mobile-first стратегию.

Администрация ГО Город Лесной. Игорь Синяев. "Тестирование комплексного решен...Expolink

Промышленное ускорение сайтов / Николай Мациевский (Айри.рф)Ontico

Идея: обеспечить реально высокую скорость загрузки нагруженного сайта (от 100 тысяч посетителей в день) для всех пользователей, ничего не сломав и уложившись в бюджет. Введение. Подходы к оптимизации фронтенда: * Классический: делаем по GPSI или WPT. * Самостоятельный: прикрутили PageSpeed и CDN. * Промышленный: PDSA (попробовали, измерили, внедрили, подсчитали). * Кейс: открытие новостного сайта за 1 секунду на любом устройстве. Часть 1. Мониторинг клиентской производительности * Google Analytics / Яндекс.Метрика / Битрикс. * New Relic / mPulse / Айри / Navigation Timing API. * Resource Timing API / User Timing Api: собственные метрики. * Кейс: как понять из метрик сайта, что и где тормозит. Часть 2. Внедрение ускорения * Как выбрать KPI скорости сайта. * Базовые правила: как автоматизировать, внедрить, раскатать. * "Бюджет" на ускорение страницы: как распределить. * Поточное и отложенное ускорение: как выбрать. * Некоторые типичные ошибки "оптимизации". * Кейс: нестандартные подходы к оптимизации производительности. Часть 3. Узкое профилирование * Тестируем CDN: что смотрим, как измеряем. * Тестируем мобильные устройства: тормозит CPU или GPRS ? * Тестируем асинхронную загрузку: подводные камни. * Кейс: сколько "стоит" ошибка в клиентской производительности. Заключение. Промышленное внедрение * Кейс: "швейцарский нож" для оптимизации изображений. * Кейс: когда реально работает отложенная загрузка. * Кейс: HTTP/2. Реальные данные. * Кейс: как ускорить 2000 ресурсов в секунду?

Опыт использования BI-системы QlikView в компании «ВТБ Страхование»Marina Payvina

Александр Кашеверов — Обзор React.jsDataArt

Александр Кашеверов — Коротко про WEB: HTML, CSS, JS.DataArt

Educacion MatematicaCarla Zárate

Trabajo De Control De Lecturaneoxys12

Este resumen describe un trabajo de control de lectura sobre la novela "El Socio" de Genaro Prieto. Se identifica al narrador omnisciente y a los protagonistas Julián Pardo y su invención Walter Davis. También describe la estructura de inicio, trama y desenlace de la novela, en la que la mentira de Davis cobra vida propia y lleva a Julián al suicidio después de que cree haber ahorcado a Davis pero en realidad mata a su hijo. El comentario final es que la mentira nunca lleva a nada bueno.

El vino y una mejor salud ¿causa o efecto?dafevi

Dibujos 1° Ddeborarenedo

Educacion MatematicaCarla Zárate

More Related Content

What's hot (17)