Ad
More Related Content
What's hot (20)
Similar to DevOps или искусство выживания в растущей компании (20)
Ad
DevOps или искусство выживания в растущей компании
- 1. Алексей Вахов, Учи.ру DevOps или искусство выживания в растущей компании
- 2. План • Хероку → Дедики → Облако → Докер • Бэкапы • Мониторинг • Байки 2
- 3. Учи.ру • Учи.ру: 15% учеников начальной школы России • 1/4 школьников Ульяновска (1-4 классы) • Олимпиада «Плюс» • Олимпиада «Русский с Пушкиным» • Олимпиада «Юный предприниматель» • Олимпиада «Дино»
- 4. Учи.ру: 2014 → 2017 • 1 продакшен → 15 продакшенов • 5 серверов → 130 серверов • 15 сотрудников → 150 сотрудников • 1к пользователей → 1М пользователей • 5 reqs/sec → 500-800 reqs/sec
- 5. Pre DevOps • Heroku • NoOps! • GitHub • CircleCI • 20+ SaaS’es 5
- 6. 24.2.4. Отказ от программирования Программирование дорого и непредсказуемо по сравнению со многими другими видами деятельности, и полученная программа часто не на 100% надежна. Программирование трудоемко, и — по многим причинам — многие серьезные проекты задерживаются из-за неготовности кода. Так почему бы программирование как род деятельности совсем не устранить из процесса? Бьерн Страуструп, Язык программирования С++ (Третье издание) 6
- 7. Олимпиада «Плюс» • 12к users online (500 RPS) • 12 серверов • Chef / Zabbix • 100 Юникоров 7
- 9. Структура проекта 9 VPN eth1: VPN eth0: * eth1: 80/443 eth0: * eth1: 80/443 eth0: * eth1: 80/443 eth0: * DB-Master DB-Slave App02App01 App03 Elastic, etc … Monitoring
- 11. Проблема UI • 50+ серверов • 3 active UI users 11
- 12. Терраформ resource "openstack_blockstorage_volume_v1" "disk" { region = "ru-1" size = 10 } resource "openstack_compute_instance_v2" "server" { name = "server" flavor_name = "flavor-1024-1" region = "ru-1" block_device { uuid = "${openstack_blockstorage_volume_v1.disk.id}" } } 12 https://www.terraform.io https://blog.selectel.ru/gostevoj-post-upravlyaem
- 13. Stack Today ОпенСтек Проекты Терраформ + Консул + Докер + Прометей Рейлс приложения 13
- 14. Правило номер 0: простота 14 1-й: 2-й: 3-й: A B C A B C
- 15. Правило номер 0: простота 15 1-й: 2-й: 3-й: A B C A B C 0 bits
- 16. Правило номер 0: простота 16 1-й: 2-й: 3-й: A B C A B C 0 bits 1 → 0.1
- 17. Правило номер 0: простота 17 1-й: 2-й: 3-й: A B C A B C 0 bits 1 → 0.1 2 bits
- 18. 0% CPU • rsync -avzP user@server:/folder folder • bunde exec cap production deploy • ps auxww • IDDQD 18
- 19. No Forks, Only Spoons 19 A B C
- 20. Terraform
- 21. Terraform resource "openstack_blockstorage_volume_v1" "disk" { region = "ru-1" size = 10 } 21 Usage: $ terraform plan $ terraform apply $ PROFIT
- 22. Terraform resource "openstack_blockstorage_volume_v1" "disk" { region = "ru-1" size = 10 } 22 Usage: $ terraform plan $ terraform aplpy $ PROFIT Скорость удаления: 100 серверов за 30 секунд
- 23. Terraform: Fail 1 https://www.terraform.io/docs/providers/openstack/r/ compute_instance_v2.html#boot-from-an-existing-volume resource "openstack_compute_instance_v2" "boot-from-volume" { block_device { destination_type = "volume" delete_on_termination = true 23
- 24. Terraform: Fail 1 https://www.terraform.io/docs/providers/openstack/r/ compute_instance_v2.html#boot-from-an-existing-volume resource "openstack_compute_instance_v2" "boot-from-volume" { block_device { destination_type = "volume" delete_on_termination = true 24 результат - 6 дисков
- 25. Terraform: Fail 1 - Решение https://www.terraform.io/docs/providers/openstack/r/ compute_instance_v2.html#boot-from-an-existing-volume resource "openstack_compute_instance_v2" "boot-from-volume" { block_device { destination_type = "volume" delete_on_termination = true 25
- 26. Terraform: Fail 2 # variables.tf variable "IMAGE_ID" {default= "e671f3a9-…"} # server01.tf resource "volume_v2" "disk1" { image_id = "${var.IMAGE_ID}" } # server02.tf resource "volume_v2" "disk2" { image_id = "${var.IMAGE_ID}" } 26
- 27. Terraform: Fail 2 # variables.tf variable "UBUNTU" {default= "e671f3a9-…"} # server01.tf resource "volume_v2" "disk1" { image_id = “${var.IMAGE_ID}” } # server02.tf resource "volume_v2" "disk2" { image_id = “${var.IMAGE_ID}” } 27 результат - 3 диска
- 28. Terraform: Fail 2 - Решение # variables.tf variable "IMAGE_ID" {default= "e671f3a9-…"} # server01.tf resource "volume_v2" "disk1" { image_id = "${e671f3a9-…}" } # server02.tf resource "volume_v2" "disk2" { image_id = "${e671f3a9-…}" } 28
- 29. Бэкапы: 3 этапа зрелости 1. Бэкапы не делаются 29
- 30. Бэкапы: 3 этапа зрелости 1. Бэкапы не делаются 2. Делаются, но нельзя с них восстановиться 30
- 31. Бэкапы: 3 этапа зрелости 1. Бэкапы не делаются 2. Делаются, но нельзя с них восстановиться 3. Проверка восстановимости 31
- 32. Бэкап via ansible - role: postgresql postgresql_dbs: - {user: uchi, db: db} postgresql_dump_enable: yes postgresql_dump_aws_access_key: "{{aws_access_key}}" postgresql_dump_aws_secret_key: "{{aws_secret_key}}" postgresql_dump_dbs: - {user: uchi, db: db, hour: "2", minute: "25"} 32
- 33. S3 Backup killer S3 bucket lifecycle rule = delete after 60 days 33
- 34. Стартап • Мониторинг - не нужен • Покрытие - не нужно • CI - нужен 34
- 35. Что собирать Just because something is easy to measure doesn't mean it's important. Seth Godin 35
- 40. Человеческий фактор Человеческого фактора не существует <…> Человек всегда действует наилучшим образом, исходя из своего понимания ситуации. Если он серьезно ошибся — значит, неправильно понял ситуацию. <…> Антон Жиянов 40 https://antonz.ru/human-factor
- 42. 95.213.234.120/29 • 95.213.234.122 • 95.213.234.123 • 95.213.234.124 • 95.213.234.125 • 95.213.234.126 42
- 43. Забота # 95.213.234.120/29 variable "network03-id" { default = “0501713d-…” } variable "system01-ip" { default = "95.213.234.122" } # variable "not_used" { default = "95.213.234.123" } # variable "not_used" { default = "95.213.234.124" } # variable "not_used" { default = "95.213.234.125" } # variable "not_used" { default = "95.213.234.126" } 43
- 44. Docker 44
- 45. Docker iptables - name: nginx_prometheus_exporter docker_container: name: nginx-prometheus-exporter volumes: - /var/log/nginx:/var/log/nginx:ro ports: - “{{ansible_eth0.ipv4.address}}:3093:3093” 45
- 46. • eth0 - всегда серый • сервер == новый tf-файл • etc, etc, etc Забота и ❤ 46 A B C
- 47. DevOps или искусство выживания в растущей компании http://vakhov.me/ - Блог, милый блог. Новая история каждый будний день. [email protected] - почта http://t.me/avakhov - telegram Алексей Вахов, Учи.ру