Ad
More Related Content
What's hot (20)
Similar to Дмитрий Долгов (20)
Ad
More from CodeFest (20)
Ad
Дмитрий Долгов
- 1. nosql внутри sql тактика и стратегия Дмитрий Долгов Senior Software Engineer Zalando
- 3. Данные бывают разные Стандарт SQL/JSON 1
- 4. Данные бывают разные Стандарт SQL/JSON Как перестать волноваться и начать использовать документы 1
- 5. Данные бывают разные Стандарт SQL/JSON Как перестать волноваться и начать использовать документы Важные факторы, влияющие на производительность 1
- 6. Данные бывают разные Стандарт SQL/JSON Как перестать волноваться и начать использовать документы Важные факторы, влияющие на производительность Бенчмарки 1
- 7. Данные бывают разные Стандарт SQL/JSON Как перестать волноваться и начать использовать документы Важные факторы, влияющие на производительность Бенчмарки * Поиск и чтение документов 1
- 8. Данные бывают разные Стандарт SQL/JSON Как перестать волноваться и начать использовать документы Важные факторы, влияющие на производительность Бенчмарки * Поиск и чтение документов * Вставка документов 1
- 9. Данные бывают разные Стандарт SQL/JSON Как перестать волноваться и начать использовать документы Важные факторы, влияющие на производительность Бенчмарки * Поиск и чтение документов * Вставка документов * Обновление документов 1
- 10. Данные 2
- 11. Данные 2
- 12. Данные 2
- 13. Данные нужно хранить в соответствующем формате: 3
- 14. Данные нужно хранить в соответствующем формате: Отдельные хранилища, единый интерфейс 3
- 15. Данные нужно хранить в соответствующем формате: Отдельные хранилища, единый интерфейс Единое хранилище, разные форматы 3
- 17. Отдельные хранилища Конкретный формат обрабатывается наилучщим образом 4
- 18. Отдельные хранилища Конкретный формат обрабатывается наилучщим образом Производительность, дублирование 4
- 19. Отдельные хранилища Конкретный формат обрабатывается наилучщим образом Производительность, дублирование Вопросы интеграции компонентов 4
- 21. Единое хранилище Не требует интеграции 5
- 22. Единое хранилище Не требует интеграции Производительность, дублирование 5
- 23. Единое хранилище Не требует интеграции Производительность, дублирование Зависимость от БД 5
- 24. 6
- 25. Кто? Postgresql (hstore/json/jsonb) MySQL (json) Oracle MSSql db2 MongoDB ($lookup, read-only view, BI connector) 7
- 28. ..Functions. Retrieval . . Exract value . Exract json . Path existence . Convert to relation . JSON cor- rectness . Construction . . Create an object . Create an array . Create from relation 10
- 29. SQL/JSON стандарт JSON_QUERY JSON item method JSON filter expression 11
- 30. Легкий способ начать бегать по утрам использовать документы в реляционной базе 12
- 31. 13
- 32. -- PG since 9.4 select jsonb_build_object( ’id’, 1, ’data’, ’aaa’ ); -- MySQL since 5.7 select json_object( ’id’, 1, ’data’, ’aaa’ ); 14
- 33. -- PG since 9.4 select jsonb_agg(query) from ( select id, data from jsonb_table ) query; -- MySQL since 8 select json_objectagg(‘key‘, val) as ‘key_val‘ from t1; 15
- 34. -- PG copy table_name(jsonb_column_name) from ’data.json’; -- MySQL load data infile ’data.json’ into table table_name (json_column_name); 16
- 35. Загрузка дампа из внешних источников Некорректные данные с валидной структурой – json5 Битые данные – ручное исправление, линтеры 17
- 37. Факторы 19
- 38. Факторы Структура данных на диске 19
- 39. Факторы Структура данных на диске Сериализация данных 19
- 40. Факторы Структура данных на диске Сериализация данных Поддержка индексов 19
- 41. Bson 20
- 42. bson.dumps({”a”: 3, ”b”: u”xyz”}) 21
- 43. Jsonb 22
- 44. select pg_relation_filepath(oid), relpages from pg_class where relname = ’table_name’; pg_relation_filepath | relpages ----------------------+---------- base/40960/325477 | 0 (1 row) 23
- 45. MySQL json 24
- 46. Сериализация данных MongoDB – дерево Document -> Elements Postgresql – JsonbValue со списком элементов MySQL – класс Value 25
- 47. Индексы MongoDB – индексы для полей Postgresql – общий индекс, индексы для полей MySQL – виртуальные колонки для индексирования 26
- 48. тестирование
- 49. 28
- 50. PostgreSQL 9.5.4 MySQL 5.7.9 MongoDB 3.2.9 YCSB 0.9 106 rows and operations AWS EC2 29
- 52. AWS EC2 m4.xlarge instance separate instance (database and generator) 16GB memory, 4 core 2.3GHz Ubuntu 14.04 Same VPC and placement group AMI that supports HVM virtualization type at least 4 rounds of benchmark 31
- 53. Конфигурация shared_buffers effective_cache_size innodb_buffer_pool_size write concern level (journaled or transaction_sync) 32
- 54. Виды документов “простой” документ 10 ключей и значений (100 символов) “большой” документ 100 ключей и значений (200 символов) “сложный” документ 100 ключей, 3 уровня вложенности (100 символов) 33
- 55. Простая выборка по ключу с ”Простой документ” jsonb_path_ops where data @> ’”key”: ”value”’::jsonb 34
- 56. 35
- 57. 36
- 58. Простая выборка по ключу ”Простой документ” jsonb_path_ops where data @> jsonb_build_object(’key’, ’value’) 37
- 59. 38
- 60. Простая выборка по ключу с Btree индексом ”Простой документ” btree 39
- 61. 40
- 62. 41
- 63. Простая выборка по ключу с Btree индексом ”Сложный документ” btree 42
- 64. 43
- 65. Срез по документу ”Большой документ” Из документа выбирается одно поле 44
- 66. 45
- 67. Срез по документу ”Большой документ” Из документа выбирается 10 полей 46
- 68. 47
- 69. 48
- 71. 50
- 72. Вставка документов ”Простой документ” default write concern 51
- 73. 52
- 75. 54
- 76. 55
- 77. Выборка 50%, обновление 50% ”Простой документ” обновление одного поля transaction_sync 56
- 78. 57
- 79. 58
- 80. Выборка 50%, обновление 50% ”Простой документ” обновление одного поля journaled 59
- 81. 60
- 82. Выборка 50%, обновление 50% ”Большой документ” обновление одного поля 61
- 83. 62
- 84. 63
- 85. Документов в RDBMS можно не бояться 64
- 86. Документов в RDBMS можно не бояться Приведенные бенчмарки - ”подсказки” 64
- 87. Документов в RDBMS можно не бояться Приведенные бенчмарки - ”подсказки” Необходимы свои тесты для нагрузки 64
- 88. Документов в RDBMS можно не бояться Приведенные бенчмарки - ”подсказки” Необходимы свои тесты для нагрузки Где кластер? 64
- 89. вопросы? github.com/erthalion @erthalion 9erthalion6 at gmail dot com Дмитрий Долгов Senior Software Engineer Zalando 65