9 vinogradov

1© Copyright 2015 EMC Corporation. All rights reserved.
Хранение контента в интернет
сервисах
Взгляд EMC

Рост данных меняет подход к хранению
Емкость файловых хранилищ растет на 53% ежегодно
•  Чрезмерная сложность
–  Большое количество разных
технологий защиты данных,
протоколов, средств управления
•  Отсутствие экономической гибкости
–  Неэффективность, высокие
накладные расходы при
распределенных архитектурах
•  Отсутствие облачных технологий
–  Стандартная архитектура, отсутствие
самообслуживания
Source: IDC EMC Digital Universe Study 2014

Современные приложения меняют
подход к хранению
•  Слишком сложная архитектура
–  Блокировки, репликация, высокая
доступность, распределенность
•  Сложность работы с Web и при
наличии межсетевых экранов
–  Сложность доступа в
распределённых сетях
•  Сложность разработки
–  Различное оборудование и
технологии для различных типов
данных

ИЗМЕНЕНИЕ ПОДХОДА К
ИНВЕСТИЦИЯМ

Сколько стоит 10 центов?
$1 $10 $100 $1 000 $10 000 $100 000 $1 000 000 $10 000 000$100 000 000
1 Exabyte
1 Petabyte
1 Terabyte
$0.10/GB SAVINGS = $100,000,000 / EXABYTE

Преимущество стандартных платформ
•  Использование
стандартизированных и открытых
технологий
•  Проприетарные компоненты дают
меньшую экономическую гибкость
•  Стандартные компоненты дают
большую экономическую
эффективность при использовании
специализированного ПО

ЗАЧЕМ МНЕ ЭТО?

Ограничения файловых систем
Структурированн
ая
(Таблицы,Индексы,Ключ
и)
•  Ограничение на количество файлов файловых систем
•  Ограничение по объему файлов файловых систем
•  Блокировки файловых систем
•  Долгие файловые операции листинга, сканирования и т. д.
•  Отсутствие возможности создания геораспределенного хранилища с единой точкой входа
•  Отсутствие версионности и поколений данных
•  Необходимость проведения операций резервного копирования
•  Ограничения файловых таблиц
•  Различная скорость работы разных файловых систем с разными объемами файлов
•  Низкий уровень безопасности
•  Низкий уровень защиты данных
•  Сложность работы с метаданными
•  Существенные ограничения на создание горизонтально-расширяемых хранилищ
•  Низкий уровень гибкости и масштабируемости
•  Нестабильность работы сетевых файловых систем из-за нестабильной работы каналов связи

Объектное хранение не
имеет этих ограничений!

Объект – некая логическая
сущность, имеющая четко
определенные свойства.

Принципы объектного хранилища
•  Доступ к объектам предоставляется по специализированным
протоколам отличным от блочных или файловых (протоколы
работающие поверх HTTP и основанные на REST: S3, Swift,
Atmos)
•  Ориентированность на хранение неструктурированной
информации (image, video, audio, html, *ml, любые файлы
являющиеся статическим контентом или динамическим
контентом на стороне клиента)
•  Каждый объект обладает уникальным адресом
•  Пространство имен объектов является глобальным – любой
объект доступен из любого сегмента инфраструктуры в любой
момент

ТЕКУЩИЙ РЫНОК ОБЪЕКТНОГО ХРАНЕНИЯ
7.8
8.4
Cloud Gateways
0.2
Self-built &
Open Source1
Emerging
Vendor SW
& Appliances
0.1
External
Storage
Platforms
0.3
Total Market
for Scale-Out
Object SW &
Appliances
Source: EMC Market Intelligence estimates; Nadkarni, IDC, Jul 2013; IDC, Sep 2014; Turner et al., IDC, Apr 2013; Sheppard, Sep 2014
“The biggest
contributors to
[scale-out object
market] are DIY
deployments…”
--IDC, Jul ‘13
5.0
EMC MARKET INTELLIGENCE

«EVERYTHING SOFTWARE»
ПОЧЕМУ НЕТ?

ЗАМЕЧАЕТЕ ЧТО-НИБУДЬ?

«EVERYTHING SOFTWARE»
ПОЧЕМУ НЕТ?
ПОТОМУ ЧТО НАДЕЖНОСТЬ
ИМЕЕТ ЗНАЧЕНИЕ
ДАЖЕ КОГДА ОЧЕНЬ
ДЕШЕВО

ELASTIC CLOUD STORAGE

СИСТЕМА ХРАНЕНИЯ ИЗ КОММОДИТИ
КОМПОНЕНТ
ECS
Software HDFS
STORAGE
OBJECT
STORAGE
Commodity
Platforms

Распределенная защита данных
Высокая консистентность данных с поддержкой Active-Active read/write
Отсутствие единой точки отказа
Единая производительность и эффективность для любых объектов
АРХИТЕКТУРА ECS SOFTWARE
ECS
Software HDFS
STORAGE
OBJECT
STORAGE
SITE 1 SITE 2 SITE 3

Распределенная защита данных
Защита от локальных и глобальных сбоев
Site 1
Site 3
Site 2
•  Сбои оборудования и всего
ЦОД
–  Disk, Node, Rack, Data Center
•  Ребилд без перегрузок на
каналах связи
•  Снижение нагрузки и затрат

Потери емкости на защиту данных
1,33
2,67
2,00
1,77
1,67
1,60 1,55 1,52
0,00
0,50
1,00
1,50
2,00
2,50
3,00
1 2 3 4 5 6 7 8
Overhead
# of Data Centers
Оптимизация доступа, защиты и эффективности

Архитектура Active-Active Read/Write
Доступ к контенту без ограничений
https://accesspoint.yourcompany.com •  Единое пространство имен
•  Консистентность данных между
всеми ЦОД
•  Оптимизация передачи данных

Единая платформа для всех типов доступа
Совместимость с стандартными API
Atmos
•  Различные интерфейсы доступа делают
ненужным ETL
–  Object, HDFS , File (Future)
•  HDFS совместимость с Cloudera,
Hortonworks, Pivotal etc.
•  Поддержка S3, Swift, Atmos и Centera CAS
API
•  Расширения API
–  Byte-Range updates, Atomic appends,
Rich ACLs etc.
HDFS

ECS Software
Enterprise & SPs
DIY with 3rd Party Commodity
Hardware
ECS Appliance
Enterprise & SPs
Hyperscale Cloud Storage Platform
EMC Service and Support

•  Платформа для хранения
неструктурированного контента
•  Платформа для хранения
аналитических данных
Области применения

Примеры сервисов
Провайдер налоговой отчётности
Хранилище контента
Крупнейшая торговая площадка
Хранилище контента
Крупнейшая энергетическая компания
Платформа для
распределенных вычислений

Примеры сервисов

9 vinogradov

More Related Content

Viewers also liked (20)

Similar to 9 vinogradov (20)

More from leonid-mt-mt (11)

9 vinogradov