Инфраструктура хранения для KADME Whereoil
0 likes1,126 views
Документ описывает инфраструктуру хранения данных для платформы kadme whereoil, включая функциональные, производительные, надежностные, масштабируемые, безопасные и экономичные требования. Он также анализирует возможности системы хранения данных NetApp FAS по сравнению с EMC Isilon. Основное внимание уделяется характеристикам хранения, доступа к данным, резервному копированию и экономическим аспектам систем.
Инфраструктура хранения для KADME Whereoil
- 1. Инфраструктура хранения для универсальной платформы KADME WhereOil Всеволод Шабад, «СетьПроект»
- 2. 2 Ключевые функции KADME Whereoil Функции работы с данными •загрузка •(до)атрибутирование •хранение •поиск •выдача Режимы работы •ручной •автоматический Хранение •локально •распределённо
- 4. 4 Особенности требований KADME Огромные объемы данных Территориальная распределённость Множество смежных систем •в том числе, очень странных и древних
- 5. 5 KADME: функциональные требования Хранение: •баз данных •файлов Доступ: •блочный •файловый (CIFS) •файловый (NFS) Авторизация доступа: •Active Directory •LDAP Целостное резервное копирование •мгновенные снимки, группы консистентности
- 6. 6 KADME: требования производительности Быстрый произвольный доступ •БД, мелкие файлы Быстрый последовательный доступ •крупные файлы (сейсмика) •баз данных •файлов Снимки без потерь производительности Конкретные цифры зависят от конкретного заказчика!
- 7. 7 KADME: требования надёжности Устойчивость к отказам «железа» Устойчивость к отказам ЦОДа в целом Устойчивость к отказам носителей информации Устойчивость к ошибкам персонала Допустимые потери данных и допустимые простои сервиса зависят от конкретного заказчика!
- 8. 8 KADME: требования масштабируемости Готовность к росту: •объемов данных •размеров отдельных файлов •количества файлов •количества сайтов •скоростей работы •количества смежных систем •количества пользователей Нелинейный рост стоимости и сложности по мере роста требований!
- 9. 9 KADME: требования безопасности Возможность разграничения доступа •authentication •authorization •accounting Возможность криптозащиты данных Возможность криптозащиты каналов связи У разных заказчиков и в разных странах и требования разные!
- 10. 10 KADME: требования экономичности Низкая стоимость создания системы Низкая стоимость расширения системы Низкая стоимость хранения данных
- 11. 11 Возможности СХД NetApp FAS Функциональность: •унифицированный доступ •SAN FC, iSCSI --- СУБД •NAS (NFS 4.1, SMB 3.0) --- файлы •авторизация доступа: •Active Directory •LDAP •Kerberos •целостное резервное копирование •мгновенные снимки •без потери производительности •целостные на уровне приложений (SQL, Oracle, Exchange, …) •группы консистентности (через NetApp ZAPI)
- 12. 12 Возможности СХД NetApp FAS Производительность: •быстрый произвольный доступ •оптимизация записи (WAFL, RAID-DP) •оптимизация чтения (FlashCache) •быстрый последовательный доступ •снимки без потерь производительности
- 13. 13 Возможности СХД NetApp FAS Надёжность: •дублированы все компоненты •кластеризация (до 24 контроллеров) •репликация SnapMirror (sync, async, semi-sync) •RAID-DP (допустимы двойные отказы дисков) •disk scrubbing •NFS 4.1, SMB 3.0 (NAS), ALUA (FC) •развитые средства резервного копирования •SnapMirror (снимки) •SnapVault (+хранилище снимков) •SnapProtect (+ленты, + агенты для приложений) IDC --- надёжность 99,999%
- 14. 14 Возможности СХД NetApp FAS Расширяемость: •2200→3200→6200, общая ОС, общие полки •до 24 узлов в кластере •до 1440 дисков на 1600000 пару контроллеров 1400000 •до 15 тыс. дисков 1200000 1000000 на кластер 800000 •ёмкость до 69 ПБ 600000 на кластер 400000 •файлы размером 200000 до 20 ПБ 0 NFS IOPS 4 8 12 16 20 24
- 15. 15 Возможности СХД NetApp FAS Безопасность: •возможности разграничения доступа •authentication •Active Directory, LDAP, Kerberos •authorization •accounting •делегирование администрирования (MultiStore) •криптозащита данных на дисках •криптозащита каналов связи (SSH, SSL) •«песочница» (FlexClone)
- 16. 16 Возможности СХД NetApp FAS Экономичность: •RAID-DP (надёжность RAID-6, производительность RAID-10) •дедупликация •компрессия •мгновенные снимки
- 17. 17 Преимущества перед EMC Isilon Эффективность хранения: •RAID-DP, компрессия, дедупликация Производительность NFS IOPS (максимальные конфигурации): •1’112’705 (EMC Isilon) •1’512’784 (NetApp FAS) +36% Масштабируемость и экономичность •см. следующий слайд Полноценная поддержка клиентов MS Windows •в т. ч. Active Directory и SMB 3.0 Непрерывность работы во всех ситуациях
- 18. 18 Масштабируемость и экономичность NetApp FAS EMC Isilon 250 000 NFS IOPS дисков ТБ 288 48 672 500 000 NFS IOPS дисков ТБ 576 96 172.3 1344 1 000 000 NFS IOPS дисков ТБ 1152 192 344.5 3360 864 Из http://www.spec.org/sfs2008/results/sfs2008nfs.html
- 19. 19 Что лучше — лента или диск? Надёжность хранения Стоимость носителя Возможность дедупликации и компрессии Количество и размер объектов восстановления Скорость чтения и записи (max/min) Риск потери и компрометации носителя Наличие каналов связи между площадками Нагрузка на перекрытия
- 20. 20 Вместе мы — сила!