15.03.19 WebPromo SEOday SEO-инсайты из логов: от WP блога до международного проекта
1 like298 views
Документ представляет собой руководство по анализу логов сервера для SEO-оптимизации, охватывая ключевые аспекты, такие как структура логов, использование данных для улучшения краулингового бюджета и выявление технических проблем. Также рассматриваются методы обработки логов с использованием различных инструментов и технологий, включая переход на HTTPS и управление AMP. В заключение, документ содержит информацию о сборке ELK-стека и упоминает ресурсы для установки и использования этих технологий.
![Пример
192.168.1.11 - [03/Sep/2019:00:00:00 -0400] - "GET
/calendar/next HTTP/1.1" 200 - "Mozilla/5.0 (compatible;
Googlebot/2.1; +http://www.google.com/bot.html)"](https://image.slidesharecdn.com/15-03-19-webpromo-seoday-190415184657/85/15-03-19-WebPromo-SEOday-SEO-WP-7-320.jpg)
15.03.19 WebPromo SEOday SEO-инсайты из логов: от WP блога до международного проекта
- 1. SEO-инсайты из логов сервера: от WP-блога до международного проекта
- 2. Всем привет :) ● SEO-team lead ЛУН & Flatfy ● Куратор курса Product SEO в PRJCTR ● SEO-консультант Это я
- 4. Логи Файл с записями о запросах (hit`ах), которые получил сервер
- 5. Как это работает? http://flatfy.com/example-page.html 1. Protocol 2. Server name -> ip:80 3. File name -> HTTP GET request
- 6. Структура 1. Server IP 2. Timestamp (date & time) 3. Method (GET / POST) 4. Request URI (aka: URI stem + URI query) 5. HTTP status code 6. User-agent Доп.: 1. Host name 2. Request/Client IP 3. Bytes downloaded 4. Time taken Зависит от конфигурации веб-сервера
- 7. Пример 192.168.1.11 - [03/Sep/2019:00:00:00 -0400] - "GET /calendar/next HTTP/1.1" 200 - "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
- 8. Примеры ● Apache - bit.ly/2QnpB5s ● NGINX - bit.ly/2x75pf5 ● IIS - bit.ly/2O64QcJ
- 9. Важно ● User Agent Googlebot (bit.ly/2x2Jire) ● Google IP Validate
- 10. Зачем? ● Разработка и quality assurance (QA) ● Проблемы с сетью ● Customer service ● Проблемы с безопасностью ● Compliance matters (запросы от …) ● Техническое SEO
- 12. Crawl volume Bot crawl volume - number of requests
- 13. Вопросы 1. Эффективно ли расходуется краулинговый бюджет? a. Где идет утечка краулингового бюджета? (дубли, параметры и т.п.) b. Были ли ошибки во время краулинга? c. Какие есть области с недостатком краулинга? 2. Дата последнего краулинга?
- 14. Важно Сколько прокрауленых страниц “non-compliant“? (не подлежат попаданию в поиск)
- 15. Важно 1. Определить частоту сканирования страниц 2. Какие страницы не обходились ни разу за месяц? 3. Когда страницы прокраулены впервые после создания? 4. За какое время сканируются все страницы? 5. Какой тип файлов? % 6. Редиректы цепочки, ошибочные редиректы + кол-во 7. Количество заходов на не канонические страницы 8. Заходы на закрытые страницы в meta robots 9. Дублированный контент? (например, по тайтлам) 10. Сканирование нового контента 11. Миграция на HTTPS и работа с AMP
- 16. Дополнить данными 1. Google Analytics 2. Данные с сайта (canonical, robots, кол-во слов ...) 3. Google Search Console 4. и другие
- 18. Как использовать? ● Переименовать .log -> .csv ● Открывать файлы до 120к строк ● Разбить по столбцам ● Убрать лишние колонки ● Использовать сводные таблицы и графики
- 19. Частота и user agent
- 22. GoAccess ● UNIQUE VISITORS PER DAY - INCLUDING SPIDERS ● REQUESTED FILES (URLS) ● STATIC REQUESTS ● NOT FOUND URLS (404S) ● VISITOR HOSTNAMES AND IPS ● OPERATING SYSTEMS ● BROWSERS ● TIME DISTRIBUTION ● VIRTUAL HOSTS ● REFERRERS URLS ● REFERRING SITES ● KEYPHRASES FROM GOOGLE'S SEARCH ENGINE ● HTTP STATUS CODES ● GEO LOCATION
- 23. ELK Section 4
- 24. ELK stack
- 25. Digitalocean Install Заказать дроплет: m.do.co/c/de8a01e96450 (Docker -> ELK) Мануал: do.co/2x8stub
- 28. Общий вид
- 29. SC
- 30. SC
- 31. Kibana
- 32. SC
- 34. Различные боты
- 35. Dashboards
- 37. Владислав Моргун SEO Team-lead ЛУН & Flatfy facebook.com/vladislav.morgun.3 t.me/m0r9un [email protected] instagram.com/m0r9un slideshare.net/ssuser12bc85 О нас: team.lun.ua