Krizhanovsky Vm

Oct 13, 2009Download as ODP, PDF0 likes1,081 views

HighLoad2009

Управление виртуальной памятью в Linux/x86-64 Александр Крижановский

Не будет buddy alocator , slab allocator и пр.

Содержание Что такое виртуальная память вообще (краткий экскурс)

Виртуальная память, адресация и пэйджинг в x86-64

VM (Overview) Изоляция адресных пространств процессов

Все процессы в системе «видят» памяти больше, чем есть на самом деле

Виртуальность последовательности адресов

LRU (Least Recently Used) вытеснение в бэкграунде

Page cache (файлы) и anonymous pages (куча)

Page cache может выжрать всю память — это нормально...

...поэтому важны clean pages и dirty pages...

... поэтому не верьте free(1) и top(1) RES

Оперативная память становится всё более дешёвой и производительной, что позволяет использовать её для хранения рабочего набора данных всё большего числа приложений. Хранение всех данных в оперативной памяти позволяет сделать их высоко доступными, а алгоритмы для работы с данными либо существенно упростить, либо ускорить, а иногда — и то, и другое. Тезисы - http://www.highload.ru/2015/abstracts/1964.html

Обзор архитектуры [файловой] системы CephOSLL

простой и мощный бэкап на базе rsyncAndrew Pantyukhin

Современная операционная система: что надо знать разработчику / Александр Кри...Ontico

Мы проговорим про связь приложения и ОС, какие компоненты есть в современной ОС на примере Linux, как настройки этих компонент могут повлиять на приложение. Я расскажу про планировщик процессов, дисковый и сетевой ввод-вывод и соответствующие планировщики, управление памятью - как это все в общих чертах работает и как его потюнить.

Операционные системы GNU/LinuxMikhail Chinkov

Как впихнуть утро в сосновом лесу в 4 килобайта. Иван Авдеев. UNIGINE Open Ai...Unigine Corp.

Tarantool Silverbox, Юрий ВостриковFuenteovejuna

Организация хранилища с Vast sky (Дмитрий Лоханский)Ontico

Массовые операции над письмами в Яндекс.Почте — Денис КутуковYandex

Операции над письмами (пометка спамовым, удаление или перемещение) — неотъемлемая часть почтового сервиса, которая создает заметную нагрузку на бэкенд и может сильно увеличить время отклика системы. В докладе я расскажу, как эволюционировал наш модуль операций над письмами, как мы сделали его асинхронным, на какие грабли мы наступили с Zookeeper’ом и какие выводы сделали.

08 server mgmt_rumcroitor

09 server mgmt_ii_rumcroitor

TMPA-2015: Multi-Platform Approach to Reverse Debugging of Virtual MachinesIosif Itkin

Hl2008 Hp Server Design 169Media Gorod

Анатолий Полицын, агентство интернет-маркетинга «Синапс» — Корпоративный хост...Dev_Party

Движок LMDB — особенный чемпион / Юрьев Леонид (Петер-Сервис R&D)Ontico

Lightning Memory-Mapped Database (LMDB) представляет собой интересный, во многом уникальный движок базы данных класса Berkeley DB и Level DB с ребус-подобным исходным кодом. Будучи относительно малоизвестным, LMDB показывает ЧЕМПИОНСКУЮ производительность по чтению. Однако при интенсивной записи всё не так радужно… Было ещё несколько проблем и недостатков, которые нам пришлось устранить, разбираясь в ребусах исходного кода. Доклад точно будет интересен разработчикам, интересующимся внутренностями баз данных или характеристиками отдельных движков. Проект реализуется силами компании Петер-Сервис R&D, резидента Сколково, для применения в телеком-проектах федерального масштаба. Информация о нашем проекте https://github.com/ReOpen/ReOpenLDAP/wiki, об исходной версии LMDB http://symas.com/mdb/.

Алексей Иванов: немного о grunt.js #FrontTalksJetStyle

Кэширование данных в web приложениях. Использование memcached / Юрий Красноще...Ontico

Каждый разработчик web приложений рано или поздно сталкивается с довольно типичной проблемой: перед ним стоит задача построить фабрику по производству омнониевых торсиометров. Фабрика производит омнониевые торсиометры очень быстро, но для калибровки прибора (как известно) необходим омноний, за которым приходится летать на Андромеду. Пока корабль летит до Андромеды, фабрика простаивает. Самый очевидный выход из ситуации - построить склад омнониума прямо рядом с фабрикой. Терминология кэширования Выбор места для кэширования в WEB Выбор данных для кэширования Кэширование на стороне бэкенда Отдельный кэширующий сервис Пара слов о memcached Пара слов о Redis

Низкоуровневые оптимизации. Андрей Аксенов. Unigine Open Air 2013Unigine Corp.

Контейнерная виртуализация. Золушка в облакахrusonyx

Слайды доклада с конференции Российские Интернет Технологии 2013 http://ritconf.ru Для обеспечения работы крупных веб-проектов как правило реализуются два сценария: железный и облачный. Классический железный сценарий предполагает решение задачи в лоб и чреват серьезными осложнениями в дальнейшем. Более модный облачный вариант выбирают все чаще. В этом случае речь идет о построении инфраструктурного облака с использованием гипервизора: полной виртуализации (как правило, VMware), либо паравиртуализации (как правило, XEN). В докладе предлагается третий сценарий развития веб-проектов: построение облака с использованием контейнерной виртуализации Parallels Virtuozzo Containers (виртуализация на базе операционной системы) на примере Русоникса. Опыт Русоникса - это тысячи виртуальных серверов для тысяч разноплановых веб-проектов с заведомо непредсказуемым поведением на базе контейнерной виртуализации и типового железа. Контейнеры обеспечивают невероятную плотность и эффективность использования физических ресурсов. Технология используется, например, в Google для выполнения важнейших задач, таких как вывод результатов поиска и показ контекстных объявлений. Однако, несмотря на все преимущества, контейнерная виртуализация остается в тени и на практике известна не так широко, как VMware в корпоративном мире или XEN в облачно-амазонном.

Контейнерная виртуализация. Золушка в облаках / Юрий Устинов (Русоникс)Ontico

DdosHighLoad2009

Why02HighLoad2009

More Related Content

What's hot (20)

Что особенного в СУБД для данных в оперативной памяти / Константин Осипов (Ta...Ontico

Обзор архитектуры [файловой] системы CephOSLL

простой и мощный бэкап на базе rsyncAndrew Pantyukhin

Современная операционная система: что надо знать разработчику / Александр Кри...Ontico

Операционные системы GNU/LinuxMikhail Chinkov

Как впихнуть утро в сосновом лесу в 4 килобайта. Иван Авдеев. UNIGINE Open Ai...Unigine Corp.

Tarantool Silverbox, Юрий ВостриковFuenteovejuna

Организация хранилища с Vast sky (Дмитрий Лоханский)Ontico

Массовые операции над письмами в Яндекс.Почте — Денис КутуковYandex

08 server mgmt_rumcroitor

09 server mgmt_ii_rumcroitor

TMPA-2015: Multi-Platform Approach to Reverse Debugging of Virtual MachinesIosif Itkin

Hl2008 Hp Server Design 169Media Gorod

Анатолий Полицын, агентство интернет-маркетинга «Синапс» — Корпоративный хост...Dev_Party

Движок LMDB — особенный чемпион / Юрьев Леонид (Петер-Сервис R&D)Ontico

Алексей Иванов: немного о grunt.js #FrontTalksJetStyle

Кэширование данных в web приложениях. Использование memcached / Юрий Красноще...Ontico

Низкоуровневые оптимизации. Андрей Аксенов. Unigine Open Air 2013Unigine Corp.

Контейнерная виртуализация. Золушка в облакахrusonyx

Контейнерная виртуализация. Золушка в облаках / Юрий Устинов (Русоникс)Ontico

Что особенного в СУБД для данных в оперативной памяти / Константин Осипов (Ta...Ontico

Обзор архитектуры [файловой] системы CephOSLL

простой и мощный бэкап на базе rsyncAndrew Pantyukhin

Современная операционная система: что надо знать разработчику / Александр Кри...Ontico

Операционные системы GNU/LinuxMikhail Chinkov

Как впихнуть утро в сосновом лесу в 4 килобайта. Иван Авдеев. UNIGINE Open Ai...Unigine Corp.

Tarantool Silverbox, Юрий ВостриковFuenteovejuna

Организация хранилища с Vast sky (Дмитрий Лоханский)Ontico

Массовые операции над письмами в Яндекс.Почте — Денис КутуковYandex

08 server mgmt_rumcroitor

09 server mgmt_ii_rumcroitor

TMPA-2015: Multi-Platform Approach to Reverse Debugging of Virtual MachinesIosif Itkin

Hl2008 Hp Server Design 169Media Gorod

Анатолий Полицын, агентство интернет-маркетинга «Синапс» — Корпоративный хост...Dev_Party

Движок LMDB — особенный чемпион / Юрьев Леонид (Петер-Сервис R&D)Ontico

Алексей Иванов: немного о grunt.js #FrontTalksJetStyle

Кэширование данных в web приложениях. Использование memcached / Юрий Красноще...Ontico

Низкоуровневые оптимизации. Андрей Аксенов. Unigine Open Air 2013Unigine Corp.

Контейнерная виртуализация. Золушка в облакахrusonyx

Контейнерная виртуализация. Золушка в облаках / Юрий Устинов (Русоникс)Ontico

Viewers also liked (14)

DdosHighLoad2009

Why02HighLoad2009

Eremkin Cboss Smsc Hl2009HighLoad2009

Hl++2009 Ayakovlev PochtaHighLoad2009

ScalaxyHighLoad2009

KosmodemianskyHighLoad2009

RacHighLoad2009

архитектура новой почты рамблераHighLoad2009

Pl High Load V1.1HighLoad2009

Highload2009 Rybak Badoo OsHighLoad2009

High Load 2009 Dimaa Rus ReadyHighLoad2009

Developmentmanage1.0HighLoad2009

Silverspoon2HighLoad2009

Php DaemonHighLoad2009

DdosHighLoad2009

Why02HighLoad2009

Eremkin Cboss Smsc Hl2009HighLoad2009

Hl++2009 Ayakovlev PochtaHighLoad2009

ScalaxyHighLoad2009

KosmodemianskyHighLoad2009

RacHighLoad2009

архитектура новой почты рамблераHighLoad2009

Pl High Load V1.1HighLoad2009

Highload2009 Rybak Badoo OsHighLoad2009

High Load 2009 Dimaa Rus ReadyHighLoad2009

Developmentmanage1.0HighLoad2009

Silverspoon2HighLoad2009

Php DaemonHighLoad2009

Similar to Krizhanovsky Vm (20)

Операционные системыyaevents

Как Linux работает с памятью — Вячеслав БирюковYandex

Вячеслав Бирюков - Как Linux работает с памятьюYandex

Дмитрий Грошев, Фёдор Гоголев. Erlang и Haskell в production: проблемы и решенияFProg

Как построить высокопроизводительный Front-end сервер (Александр Крижановский) Ontico

Tarantool/Silverbox (Юрий Востриков)Ontico

libfpta: в памяти, с персистентностью, быстрее хайпаLeonid Yuriev

Представление "Позитивных таблиц" – нового C/C++ движка, выполняющего до полумиллиона пишущих транзакций в секунду к табличным и key-value данным, и одновременно до миллиона читающих запросов на каждом ядре процессора. libfpta обеспечивает полностью параллельно выполнение запросов чтения/поиска без блокировок внутри БД и без атомарных операций, а также реализует эффективное хранение multi-value значений. Поэтому интегрально libfpta опережает по производительности и Tarantool и RocksDB. А разница с такими "быстрыми" решениями как Hazelcast или Apache Ignite достигает иногда 10-ти и более раз.

1. Sartakov. Virtualization. June 01, 2013ru-fedora-moscow-2013

Fedora Virtualization Day 2013. Moscow. June 01, 2013. Sartakov A. Vasily (Василий Сартаков). Language: russian. Виртуализация - основные сведения. https://www.youtube.com/watch?v=bVRM7eZAdmM&index=1&list=PLTWTWm0uA2fLok6RlpJYy350FDQiRXYbS Микроядра и способы виртуализации. https://www.youtube.com/watch?v=nvbKs-aMubY&index=2&list=PLTWTWm0uA2fLok6RlpJYy350FDQiRXYbS

Горизонтальное масштабирование: что, зачем, когда и как /Александр Макаров (Y...Ontico

Масштабирование — способность наращивать систему для обработки большего количества трафика, не теряя при этом пользовательские качества: скорость и отзывчивость. Масштабирование различают двух типов: вертикальное (больше памяти, диска, лучше процессор) и горизонтальное (больше серверов в кластере). - Зачем оно нужно, если и так всё работает? - Когда? Мониторинг, необдуманные решения, оптимизация и жизнь с одним сервером. - Типичная схема. - Балансировка нагрузки. - Какие, вообще, проблемы на стороне приложения? - Почему PHP так хорош для масштабирования. - Сессии. - База данных. - Файлы. - Как быть со статистикой?

Лекция № 3 Организация ЭВМ и системАлександр Силантьев

phpConf 2010 Классификация систем храненияSlach

Лекция №3 Организация ЭВМ и системpianist2317

Секреты сборки мусора в Java (Алексей Рагозин)Ontico

Секреты сборки мусора в Javaaragozin

Презентация с Highload++ 2011 --- Принципы работы сборщика мусора в JVM. Использование принципа поколений. Параллельная и фоновая сборка мусора. Особенности реализации алгоритмов сборки мусора в HostSpot и JRockit JVM. Причины пауз сборки мусора и способы борьбы с ними. Особенности работы с "большими" JVM - 32 гигабайта и больше. Альтернативы сборщике мусора, прямое управление памятью в Java.

Дмитрий Еманов — Под капотом серверного ПОDaria Oreshkina

Hosting for forbes.ru_drupalconf

Современные флэш-технологии – от концепции к преимуществам использования // А...IBS

Конференция "InterLab Forum. Системная интеграция нового поколения" прошла в октябре 2015 года. В центре внимания форума были новые решения в области ИТ-инфраструктуры и информационной безопасности, недавно появившиеся на российском рынке и прошедшие апробацию в IBS. Подробности: http://www.ibs.ru

Лекция 5: Многопоточное программирование: часть 1 (Multithreading programming...Mikhail Kurnosov

Практика использования NoSQL в высоконагруженном проекте (Дмитрий Ананьев)Ontico

MySQL/InnoDB изнутри: узкие места / Александр Крижановский (NatSys Lab)Ontico

Операционные системыyaevents

Как Linux работает с памятью — Вячеслав БирюковYandex

Вячеслав Бирюков - Как Linux работает с памятьюYandex

Дмитрий Грошев, Фёдор Гоголев. Erlang и Haskell в production: проблемы и решенияFProg

Как построить высокопроизводительный Front-end сервер (Александр Крижановский) Ontico

Tarantool/Silverbox (Юрий Востриков)Ontico

libfpta: в памяти, с персистентностью, быстрее хайпаLeonid Yuriev

1. Sartakov. Virtualization. June 01, 2013ru-fedora-moscow-2013

Горизонтальное масштабирование: что, зачем, когда и как /Александр Макаров (Y...Ontico

Лекция № 3 Организация ЭВМ и системАлександр Силантьев

phpConf 2010 Классификация систем храненияSlach

Лекция №3 Организация ЭВМ и системpianist2317

Секреты сборки мусора в Java (Алексей Рагозин)Ontico

Секреты сборки мусора в Javaaragozin

Дмитрий Еманов — Под капотом серверного ПОDaria Oreshkina

Hosting for forbes.ru_drupalconf

Современные флэш-технологии – от концепции к преимуществам использования // А...IBS

Лекция 5: Многопоточное программирование: часть 1 (Multithreading programming...Mikhail Kurnosov

Практика использования NoSQL в высоконагруженном проекте (Дмитрий Ананьев)Ontico

MySQL/InnoDB изнутри: узкие места / Александр Крижановский (NatSys Lab)Ontico

More from HighLoad2009 (18)

Quick WinsHighLoad2009

This document discusses third party patches for MySQL that provide quick wins and new features. It summarizes five such patches: 1) Slow query filtering which helps identify expensive queries, 2) Index statistics which helps determine unused indexes, 3) An InnoDB dictionary limit which constrains memory usage, 4) A global long query time setting, and 5) A "fix" for InnoDB group commit performance regressions in MySQL 5.0. The document encourages using third party patches to gain features and improvements not yet available in the MySQL core.

Take2HighLoad2009

Hl2009 1c BitrixHighLoad2009

Dz Java Hi Load 0.4HighLoad2009

Highload Perf TuningHighLoad2009

The document discusses three common ways to improve performance of a MySQL database that is experiencing high load: 1. Upgrade hardware by adding more RAM, faster disks, or more powerful CPUs. This provides a temporary fix but can become exponentially more expensive and does not address underlying issues. 2. Change MySQL configuration settings like tmp_table_size or sort_buffer_size to optimize for specific bottlenecks shown in global status variables, but there are no "silver bullets" and misconfigurations must be addressed. 3. Improve indexing and tune queries by addressing issues like temporary tables on disk, full table scans, and lack of indexes causing full joins or sorting, which can have long term benefits over simply adding resources

Hl2009 Pr V2HighLoad2009

Highload2009HighLoad2009

особенности использования Times Ten In Memory Database в высоконагруженной средеHighLoad2009

бегунHighLoad2009

Hl NekovalHighLoad2009

High Load 2009 Dimaa Rus Ready 16 9HighLoad2009

Nyt Prof 200910HighLoad2009

This document discusses techniques for optimizing Perl source code performance. It begins by cautioning against premature optimization and recommends first profiling code to identify actual bottlenecks. It then provides tips for different phases of optimization, starting with easy "low hanging fruit" like moving invariant expressions out of loops. Deeper changes include adding caching, changing data structures, and rewriting hot spots in C. The key messages are to measure first before optimizing and only optimize critical parts of code.

температура мираHighLoad2009

м.токовинин компромиссная производительностьHighLoad2009

бегунHighLoad2009

Smirnov Twisted PythonHighLoad2009

Silverspoon ClusterHighLoad2009

Performance Enhancements In Postgre Sql 8.4HighLoad2009

PostgreSQL 8.4 introduced several performance enhancements including optimizations to anti-joins, semi-joins, hash aggregation, and new free space map and visibility map features. It also included application-level improvements such as subqueries in LIMIT/OFFSET clauses, window functions, common table expressions, and parallel restore. Many changes provided performance benefits transparently to applications or DBAs while some required application changes to realize gains.

Quick WinsHighLoad2009

Take2HighLoad2009

Hl2009 1c BitrixHighLoad2009

Dz Java Hi Load 0.4HighLoad2009

Highload Perf TuningHighLoad2009

Hl2009 Pr V2HighLoad2009

Highload2009HighLoad2009

особенности использования Times Ten In Memory Database в высоконагруженной средеHighLoad2009

бегунHighLoad2009

Hl NekovalHighLoad2009

High Load 2009 Dimaa Rus Ready 16 9HighLoad2009

Nyt Prof 200910HighLoad2009