Analiza semantyczna artykułów prasowych w 5 sprintów z użyciem AWS
0 likes44 views
Case study na temat narzędzia, które zestawia analizę artykułów pod kątem płci z danymi o odbiorcach z Google Analytics, co pozwala na optymalizację treści i lepsze przyciąganie rzeszy czytelników. Dzięki wykorzystaniu AWS błyskawicznie przygotowaliśmy działające MVP.
Analiza semantyczna artykułów prasowych w 5 sprintów z użyciem AWS
- 1. Analiza semantyczna artykułów prasowych w 5 sprintów z użyciem AWS Michał Mońka
- 2. Michał Mońka ● Node.js developer z 2,5 letnim doświadczeniem komercyjnym, z tego prawie rok w chmurze ● Miłośnik sportu, na pierwszym miejscu wspinaczki
- 3. Agenda ● Zarys projektu ● Omówienie wymagań technicznych ● Wykorzystane narzędzia ● Ile to kosztuje ● Napotkane problemy
- 5. Wymagania ● Mechanizm logowania + proste zarządzanie użytkownikami ● Analiza artykułów pod kątem płci osób występujących w tekście ● Rozpoznawanie płci osób występujących na obrazkach ● Sumowanie słów nacechowanych uprzedzeniem wobec płci ● Zestawienie ogólnego wyniku analizy artykułów z danymi z Google Analytics
- 6. Pomysł
- 9. Perigon API ● Artykuły potrafiły się zmieniać co request ● Dużo metryk, takich jak: słowa kluczowe, tematy, ocena czytelników ● Możliwości parametryzowania zapytania ● Dobra dokumentacja ● Niskie rate limity w planie developer oraz bany na ip przy zakładaniu nowych kont 🥶 ● Stosunkowo drogi, ale w planie “biznes” cena ustalana indywidualnie
- 10. Perigon API
- 11. Genderize API ● Wsparcie dla dużej ilości języków ● Darmowy dostęp, bez rejestracji (do 1000 imion/ dzień) ● Można zastąpić darmowymi bibliotekami/ api
- 12. Compromise ● Licencja MIT ● Ogromne możliwości ● Zdarzały się błędnie rozpoznane imiona, jako dwa różne ● Biblioteka do przetwarzania tekstu. Zawiera narzędzia do analizy tekstu, takie jak rozpoznawanie części mowy, rozpoznawanie nazw własnych, a także generowanie tekstu
- 13. Pora na głównego bohatera- AWS
- 14. Serverless framework ● Jako TSH posiadamy duże doświadczenie ● Korzystamy z boilerplate, który umożliwia szybki development ● Nie nadąża za zmianami w AWS ● Bardzo dobra dokumentacja
- 16. ● RDS z Postgresem ● RDS Proxy do zarządzania pulą połączeń ● Typeorm
- 17. AWS Rekognition ● detectFaces() z aws-sdk ● Koszt: 1$ za 1000 requestów ● analiza trwała maksymalnie kilka sekund
- 18. Step functions
- 21. Na czym polegało liczenie “gender score”?
- 22. ● Słowa nacechowane uprzedzeniem wobec płci ● Występowanie kobiet/ mężczyzn w tekście ● Występowanie kobiet/ mężczyzn na zdjęciach ● Płeć autora ● Zaimki Kalkulacji podlegały:
- 23. Jak dostarczyliśmy dane z Google Analytics?
- 25. ● Tematy z najlepszymi opiniami ● Tematy z najlepszym wynikiem ogólnym ● Tematy z najgorszym wynikiem ogólnym ● Tematy popularne wsród kobiet ● Ilość wystąpień mężczyzn/ kobiet na zdjęciach Raport
- 26. Co poszło nie tak?
- 27. Napotkane problemy ● Ogromne ilości analizowanych danych ● Limity step function (max liczba eventów 25000) ● Problem typeorm z rds-proxy (rds-proxy zamykał połączenie, a typeorm widział je jako otwarte) ● Przy dużej ilości równoległych lambd, rds-proxy otwierał za dużo połączeń i zapychał bazę ● Brak czasu na integrację z Google Analytics API
- 28. Ile to wszystko kosztuje?
- 29. ● RDS - 35$ ● RDS Proxy - 22$ ● EC2 - 15$ ● Secrets Manager- 1.5$ ● CloudWatch - 0.60$ ● S3 - 0.23$ ● Lambda - 0.60$ ● Reszta - <0.05$ Koszta
- 30. Pytania?
- 31. tsh.io Dziękuję za uwagę! Michał Mońka Junior Node.js Developer