Fakty i mity, czyli big data w portalu internetowym
0 likes•59 views
Andrzej Litewka, INTERIA.PL
Fakty i mity, czyli big data w portalu internetowym
- 1. FAKTY KONTRA MITY CZYLI BIG DATA W PORTALU INTERNETOWYM Andrzej Litewka Grupa Interia
- 2. 1,16 mld PV / m-‐c 38 mln Unique Visitors Ponad 200 usług Źródło: Gemius Megapanel, Grudzień 2014
- 4. rok 2011 Interia Kokpit/Target ClickMapa ² Coraz więcej danych ² Coraz więcej wskaźników ² Ograniczenia relacyjnych baz danych
- 5. Jakie problemy napotykają firmy przy wdrażaniu big data? Źródlło: IDG, Raport Computerworld Polska Big Data+, Wrzesień 2014
- 6. 7 serwerów 2-4 GB RAM; 6-12 TB; 1x CPU 2-4 core 2 serwery 8 GB RAM; 12 TB; 2x CPU 4 core Jak podeszliśmy do Big Data Hardware Ludzie programista, administrator, analityk Pomysł
- 7. Click stream ` Logi aplikacji Dane markeUngowe
- 8. Wnioski z pilota • Jest moc J • Wskazany lepszy sprzęt • Weryfikacja podejścia realizacji – applicaUon management – DevOps • Wdrożenie i użytkowanie Big Data należy traktować jako proces • Szukać praktycznego użycia w produktach
- 9. Oozie Impala Pig Hive HBase Spark YARN HDFS Flume Kaba Sqoop HUE Statsman Storm MongoDB couchebase Node.JS 60 serwerów 500 TB ponad Dostępna przestrzeń Cloudera CDH 5
- 10. Clickstream Logi MarkeUng Dane z usług DANE ~10 GB na godzinę 250 GB dziennie 7 TB Miesięczny przyrost danych
- 12. Dzienny strumień danych ~15 -‐20 mln rekordów >450 mln rekordów miesięcznie
- 13. Udział ruchu mobilnego – święta Bożego Narodzenia 2014
- 14. Informacyjne magazyny Udział robotów w ilości requestów
- 15. Rozkład ilości zakładek ze stronami Interii w oknie przeglądarki
- 20. Guarana
- 21. Identyfikacja użytkownika Przypisanie do segmentu Tabele scoringowe CMS Moduł PragmaUc Web Generacja Strony