SlideShare a Scribd company logo
Контроль качества Java SE
Павел Степанов, SUN Microsystems
J2SE в цифрах
• 130 000 000 загрузок в месяц*
• 100+ инженеров по качеству
• 8 различных продуктов или версий
• 3 или 4 релиза одновременно
• 1.5 релиза в неделю в среднем
J2SE в проектах
• JDK 7- новая версия Java
• SSR - обновления безопасности
• LU, FU и MU - другие обновления
• J4B – платные релизы
J2SE в графиках
неделя 1 2 3 4 5 6 7 8 9
J4b
SSR/LU
JDK 7
Структура проекта
Качество тестов
• ~95+% автоматических
тестов
• Непрерывная разработка
новых тестов
• Постоянная интеграция в
предыдущие версии
Организация тестовой базы
Качество JDK 7
• Длинный тестовый цикл
• Много тестовых команд
• Наличие новых технологий,
интегрированных в продукт
(изначально непокрытых тестами)
•
Тестирование изменений
Тестовый цикл новой
версии
b01b01 b02b02 b03b03
тестирование
b01
тестирование
b01
тестирование
B02
тестирование
B02
тестирование
b03
тестирование
b03
Критерий выхода
Пример критерия выхода
Жизненный цикл и
критерий выхода
Synchronized Security
Release
• Короткий тестовый цикл – два билда
(если b02 удовлетворяет критерию
выхода)
• Полностью под контролем одной
команды тестировщиков
• 4 версии параллельно
• Тесная интеграция с разработчиками
Жизненный цикл и
критерий выхода
Критерий выхода SSR
• Нет регрессий
• Все заявленные ошибки в
безопасности исправлены
Java For Business
• Короткий тестовый цикл – один
билд
• Полностью под контролем одной
команды тестировщиков
• 3 версии параллельно, все
исправления рассматриваются
индивидуально
Процесс тестирования J4B
J4B критерий выхода
• Отсутствие регрессий
– Если регрессии есть – билд выбрасывается,
соответствующие испоавления исключаются
из пространства и строится новый билд.
• Ошибки исправлены
– Если исправлены не все ошибки, но
регрессий нет, то подписчики все
равно могут получить этот билд
Вопросы?

More Related Content

PPTX
Первый шаг на пути к тестированию белого ящика для сложных систем
PPTX
DevOps подходы в инфраструктуре автоматизации тестирования
PPTX
Нагрузка и автоматизация в большой организации. Движение к DevOps
PPT
Подход к тестированию хранилища данных на базе MS SQL Server
PPTX
Опыт автоматизации интеграционного тестирования и внедрения DevOps в банковск...
PPTX
Использование комбинаторного тестирования для мобильных приложений
PPTX
Шаблоны проектирования нагрузочных скриптов
PPT
Использование игровой модели для выполнения сложных сценарных тестов
Первый шаг на пути к тестированию белого ящика для сложных систем
DevOps подходы в инфраструктуре автоматизации тестирования
Нагрузка и автоматизация в большой организации. Движение к DevOps
Подход к тестированию хранилища данных на базе MS SQL Server
Опыт автоматизации интеграционного тестирования и внедрения DevOps в банковск...
Использование комбинаторного тестирования для мобильных приложений
Шаблоны проектирования нагрузочных скриптов
Использование игровой модели для выполнения сложных сценарных тестов

What's hot (19)

PPTX
Повышение качества тестов и автоматическая валидация REST API документации
PPT
5 колчинская
PDF
Enter: testing
PPTX
Нагрузочное тестирование: Нестандартные методы анализа потока данных в прилож...
PDF
WP как экспериментальная платформа
PPTX
Архитектура автоматизированных тестов: представление предметной области
PPTX
Тестирование REST-сервисов с применением инженерных практик
PPTX
Как развить отдел тестирования от палки-копалки до CI
PPT
Что ждет тестировщиков при организации процесса тестирования Enterprise-проду...
PPT
Новый процесс тестирования на "старом" проекте
PPTX
Один за всех, или как помочь тестированию многих компонентов одной системы
PPTX
Роль TestOps: расширяем традиционные обязанности тестировщика
PDF
Организация процесса ручного тестирования
PPTX
Инструмент ChangelogBuilder для автоматической подготовки Release Notes
PPT
Настраиваемое тестирование производительности
PPT
SQADAYS 21 Москва 2017
PDF
Дефицит ресурсов тестирования... или нет?
PDF
Badger — инструмент для мониторинга качества продуктов
PPTX
Внедрение автоматизации тестирования в highload проекте с непрерывной выкладкой
Повышение качества тестов и автоматическая валидация REST API документации
5 колчинская
Enter: testing
Нагрузочное тестирование: Нестандартные методы анализа потока данных в прилож...
WP как экспериментальная платформа
Архитектура автоматизированных тестов: представление предметной области
Тестирование REST-сервисов с применением инженерных практик
Как развить отдел тестирования от палки-копалки до CI
Что ждет тестировщиков при организации процесса тестирования Enterprise-проду...
Новый процесс тестирования на "старом" проекте
Один за всех, или как помочь тестированию многих компонентов одной системы
Роль TestOps: расширяем традиционные обязанности тестировщика
Организация процесса ручного тестирования
Инструмент ChangelogBuilder для автоматической подготовки Release Notes
Настраиваемое тестирование производительности
SQADAYS 21 Москва 2017
Дефицит ресурсов тестирования... или нет?
Badger — инструмент для мониторинга качества продуктов
Внедрение автоматизации тестирования в highload проекте с непрерывной выкладкой
Ad

Viewers also liked (7)

PPT
Оценка эффективности от внедрения и использования методологии и инструменталь...
PDF
UI Test Automation Effectiveness
PPT
Минимизация последствий мирового экономического кризиса для сектора ИТ-услуг
PPS
Введение в SilverLight 3
PPTX
Программные сервисы как выгодная инвестиция в новую ИТ-стратегию
PDF
Нагрузочное тестирование клиент-серверных приложений
PPT
МАСТЕР-КЛАСС. Моделирование на UML
Оценка эффективности от внедрения и использования методологии и инструменталь...
UI Test Automation Effectiveness
Минимизация последствий мирового экономического кризиса для сектора ИТ-услуг
Введение в SilverLight 3
Программные сервисы как выгодная инвестиция в новую ИТ-стратегию
Нагрузочное тестирование клиент-серверных приложений
МАСТЕР-КЛАСС. Моделирование на UML
Ad

Similar to Павел Степанов (20)

PPT
Павел Степанов, Система контроля качества Java SE
PPTX
Solit 2014, Централизованное управление тестами с помощью TestLink, Зубович В...
PPTX
TestLink
PPTX
Вадим Зубович - Test Link
PPTX
Artem Shabarshin. CSEDays
PPTX
Обеспечение качества: Практические советы
PPT
Как принести пользу разработке и упростить себе жизнь?
PPT
Организация тестового набора при автоматизированном функциональном тестировании
PDF
It meetup cd
PPTX
Тестирование ПО
PPTX
Эволюция автотестирования на Selenium
PDF
QA Fes 2016. Анастасия Асеева. Роль тестирования в Devops
PDF
QAFest. Роль тестирования в Devops
PPTX
Solit 2013, Эволюция тестирования на Selenium, Мычко Алексей
PPT
«Механизмы обновления платформы и окружений пользователей в Jelastic»
PPTX
Система мониторинга Zabbix в процессах разработки и тестирования | Алексей Буров
PDF
«Oracle Application Quality Management: Средства тестирования и управления те...
PPTX
TestOps. Расширяем традиционные обязанности тестировщика
PDF
АНТОН СЕРПУТЬКО «Start performance testing from scratch» QADay 2019
PPTX
Промышленная разработка ПО. Лекция 5. Особенности работы тестировщика
Павел Степанов, Система контроля качества Java SE
Solit 2014, Централизованное управление тестами с помощью TestLink, Зубович В...
TestLink
Вадим Зубович - Test Link
Artem Shabarshin. CSEDays
Обеспечение качества: Практические советы
Как принести пользу разработке и упростить себе жизнь?
Организация тестового набора при автоматизированном функциональном тестировании
It meetup cd
Тестирование ПО
Эволюция автотестирования на Selenium
QA Fes 2016. Анастасия Асеева. Роль тестирования в Devops
QAFest. Роль тестирования в Devops
Solit 2013, Эволюция тестирования на Selenium, Мычко Алексей
«Механизмы обновления платформы и окружений пользователей в Jelastic»
Система мониторинга Zabbix в процессах разработки и тестирования | Алексей Буров
«Oracle Application Quality Management: Средства тестирования и управления те...
TestOps. Расширяем традиционные обязанности тестировщика
АНТОН СЕРПУТЬКО «Start performance testing from scratch» QADay 2019
Промышленная разработка ПО. Лекция 5. Особенности работы тестировщика

More from SQALab (20)

PDF
Готовим стажировку
PPTX
Куда приводят мечты? или Искусство развития тестировщика
PPT
Оптимизация Selenium тестов и ускорение их поддержки
PPT
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
PPTX
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
PPTX
Continuous performance testing
PDF
Конфиги вместо костылей. Pytestconfig и зачем он нужен
PPT
Команда чемпионов в ИТ стихии
PPTX
API. Серебряная пуля в магазине советов
PPTX
Добиваемся эффективности каждого из 9000+ UI-тестов
PPT
Делаем автоматизацию проектных KPIs
PDF
Вредные привычки в тест-менеджменте
PPTX
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
PPT
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
PPTX
Стили лидерства и тестирование
PPT
"Давайте не будем про качество"
PDF
Apache.JMeter для .NET-проектов
PPTX
Тестирование геолокационных систем
PPTX
Лидер или босс? Вот в чем вопрос
PPTX
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
Готовим стажировку
Куда приводят мечты? или Искусство развития тестировщика
Оптимизация Selenium тестов и ускорение их поддержки
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Continuous performance testing
Конфиги вместо костылей. Pytestconfig и зачем он нужен
Команда чемпионов в ИТ стихии
API. Серебряная пуля в магазине советов
Добиваемся эффективности каждого из 9000+ UI-тестов
Делаем автоматизацию проектных KPIs
Вредные привычки в тест-менеджменте
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
Стили лидерства и тестирование
"Давайте не будем про качество"
Apache.JMeter для .NET-проектов
Тестирование геолокационных систем
Лидер или босс? Вот в чем вопрос
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...

Павел Степанов