SlideShare a Scribd company logo
QA automation, the secret weapon that
need (a) manual
Alla Penalba, Sr Manager, QA Engineering
Who am I ?
★ 15+ years in Quality Assurance in product companies
★ 9 years in QA Management including manual and
automated testing
★ Mentor & trainer on QA courses for 3 years in total
★ Currently - Sr Manager, QA Engineering for Retail
product in DraftKings
★ Favourite words: efficiency, optimization, flexibility :)
What your boss is asking
➔ How much faster can we release ?
➔ How much money are we saving ?
➔ Can we fire all manual QAs now that we have automation?
An automation story
➔ 500 test cases automated
➔ “Run” once a week (crash
twice a week)
➔ Unclear coverage
➔ Slower to run than to test by
hand
Key Reasons for Failure
Reason: unclear strategy &
misalignment in expectations
➔ Why do we want to automate?
➔ What do we want to achieve?
➔ How do we measure success?
Key Reasons for Failure
Reason: inconsistent test maintenance &
stability of automation
➔ How to support constantly changing
product functionality?
➔ Ensure automation stability
Key Reasons for Failure
Reason: separation of manual and
automated testing
➔ The Automation bubble
➔ Manual QA Engineers not using
Automation in their daily routine
АЛЛА ПЕНАЛЬБА «QA automation, the secret weapon that need (a) manual»
How not to fail?
Step 1: Define clear goal and success measure
For example,
➔ we would like to cover by automation all Sanity verification as well
as main flows for all features product has and by this decrease time
we spent on Regression/HFs verification by X%
➔ we would like to cover by API tests all our microservices and API and
decrease time required for compatibility/new version/production
verification by X%
How not to fail?
Step 2: Evaluate team skills and readiness
➔ Do we have people with enough technical capabilities?
Step 3: Tool selection
➔ Ensure tools align with your tech stack and business needs
➔ Evaluate tool integration with existing CI/CD pipelines
How not to fail?
Step 4: Review your Test coverage and define roadmap for Automation
➔ Check that your manual test cases are ready to be automated:
◆ up to date
◆ modular
◆ have good detalization of verification points
◆ easy to maintain
➔ Define the roadmap for automation
◆ critical flows
◆ repetitive verifications
◆ high-risks test
How not to fail?
Step 5: Define approach for tests maintenance and scalability
➔ Think about how automated tests will support changes in the
product
➔ Plan the process on how to ensure 1-1 match between manual and
automated tests
➔ Ensure availability of resources dedicated to keeping AT tests
up-to-date and stable
How not to fail?
Step 6: Build collaboration with all involved teams
➔ Facilitate strong collaboration between developers, manual QAs,
DevOps and Automation team
➔ Make sure everyone is aligned on automation goals and progress
“Communication is a key to success”
How to evaluate ROI?
What does ROI means for your
project?
➔ Time savings
➔ Cost reduction
➔ Higher quality release
АЛЛА ПЕНАЛЬБА «QA automation, the secret weapon that need (a) manual»
How automation helped to my project
★ Regression duration cut by 50%
★ # of Bugs reported on the early stage (during the development)
based on automation runs increased by 20%
★ Significant decrease in production deployment verification
★ Post-RnD verification has been decreased by 75%
Q&A 😊
Ad

More Related Content

Similar to АЛЛА ПЕНАЛЬБА «QA automation, the secret weapon that need (a) manual» (20)

Shorten Business Life Cycle Using DevOps
Shorten Business Life Cycle Using DevOpsShorten Business Life Cycle Using DevOps
Shorten Business Life Cycle Using DevOps
Perfecto Mobile
 
Quality Assurance? The devs nightmare? Really ...?
Quality Assurance? The devs nightmare? Really ...?Quality Assurance? The devs nightmare? Really ...?
Quality Assurance? The devs nightmare? Really ...?
Clément DUFFAU
 
QA Role In Agile Teams - by Michael Hall
QA Role In Agile Teams - by Michael HallQA Role In Agile Teams - by Michael Hall
QA Role In Agile Teams - by Michael Hall
Synerzip
 
Devops maturity model
Devops maturity modelDevops maturity model
Devops maturity model
ทวิร พานิชสมบัติ
 
The Three Pillars Approach to Your Agile Test Strategy
The Three Pillars Approach to Your Agile Test Strategy The Three Pillars Approach to Your Agile Test Strategy
The Three Pillars Approach to Your Agile Test Strategy
Brian Estep
 
A Comprehensive Step-by-Step Guide for Designing an Agile-Friendly Automation...
A Comprehensive Step-by-Step Guide for Designing an Agile-Friendly Automation...A Comprehensive Step-by-Step Guide for Designing an Agile-Friendly Automation...
A Comprehensive Step-by-Step Guide for Designing an Agile-Friendly Automation...
Calidad Infotech
 
Agile Testing 2020
Agile Testing 2020Agile Testing 2020
Agile Testing 2020
arzu TR
 
The Ultimate Test Automation Guide_ Best Practices and Tips.pdf
The Ultimate Test Automation Guide_ Best Practices and Tips.pdfThe Ultimate Test Automation Guide_ Best Practices and Tips.pdf
The Ultimate Test Automation Guide_ Best Practices and Tips.pdf
kalichargn70th171
 
The journey to Continuous Automation - Chef Automate
The journey to Continuous Automation - Chef AutomateThe journey to Continuous Automation - Chef Automate
The journey to Continuous Automation - Chef Automate
Kangaroot
 
Compliance Automation: detect & correct
Compliance Automation: detect & correctCompliance Automation: detect & correct
Compliance Automation: detect & correct
Kangaroot
 
How to build confidence in your release cycle
How to build confidence in your release cycleHow to build confidence in your release cycle
How to build confidence in your release cycle
DiUS
 
QA metrics in Agile (GUIDE)
QA metrics in Agile (GUIDE)QA metrics in Agile (GUIDE)
QA metrics in Agile (GUIDE)
Vladimir Primakov (Volodymyr Prymakov)
 
Experiment Your Way to Product Success: How User Acceptance Testing Can Save ...
Experiment Your Way to Product Success: How User Acceptance Testing Can Save ...Experiment Your Way to Product Success: How User Acceptance Testing Can Save ...
Experiment Your Way to Product Success: How User Acceptance Testing Can Save ...
Aggregage
 
Agile testingandautomation
Agile testingandautomationAgile testingandautomation
Agile testingandautomation
jeisner
 
[Webinar] Test First, Fail Fast - Simplifying the Tester's Transition to DevOps
[Webinar] Test First, Fail Fast - Simplifying the Tester's Transition to DevOps[Webinar] Test First, Fail Fast - Simplifying the Tester's Transition to DevOps
[Webinar] Test First, Fail Fast - Simplifying the Tester's Transition to DevOps
KMS Technology
 
User Acceptance Testing in the Testing Center of Excellence
User Acceptance Testing in the Testing Center of ExcellenceUser Acceptance Testing in the Testing Center of Excellence
User Acceptance Testing in the Testing Center of Excellence
TechWell
 
Quality Assurance & Testing in a glimpse
Quality Assurance & Testing in a glimpseQuality Assurance & Testing in a glimpse
Quality Assurance & Testing in a glimpse
Tahmid Munaz
 
Scaling Quality by Building it in - Agile Tour Ottawa 2017
Scaling Quality by Building it in - Agile Tour Ottawa 2017Scaling Quality by Building it in - Agile Tour Ottawa 2017
Scaling Quality by Building it in - Agile Tour Ottawa 2017
Maurizio Mancini
 
Independent verification & validation presented by Maneat v02
Independent verification & validation presented by Maneat v02Independent verification & validation presented by Maneat v02
Independent verification & validation presented by Maneat v02
Dr. Pierpaolo Mangeruga
 
Automation Concepts
Automation ConceptsAutomation Concepts
Automation Concepts
Nishant Worah
 
Shorten Business Life Cycle Using DevOps
Shorten Business Life Cycle Using DevOpsShorten Business Life Cycle Using DevOps
Shorten Business Life Cycle Using DevOps
Perfecto Mobile
 
Quality Assurance? The devs nightmare? Really ...?
Quality Assurance? The devs nightmare? Really ...?Quality Assurance? The devs nightmare? Really ...?
Quality Assurance? The devs nightmare? Really ...?
Clément DUFFAU
 
QA Role In Agile Teams - by Michael Hall
QA Role In Agile Teams - by Michael HallQA Role In Agile Teams - by Michael Hall
QA Role In Agile Teams - by Michael Hall
Synerzip
 
The Three Pillars Approach to Your Agile Test Strategy
The Three Pillars Approach to Your Agile Test Strategy The Three Pillars Approach to Your Agile Test Strategy
The Three Pillars Approach to Your Agile Test Strategy
Brian Estep
 
A Comprehensive Step-by-Step Guide for Designing an Agile-Friendly Automation...
A Comprehensive Step-by-Step Guide for Designing an Agile-Friendly Automation...A Comprehensive Step-by-Step Guide for Designing an Agile-Friendly Automation...
A Comprehensive Step-by-Step Guide for Designing an Agile-Friendly Automation...
Calidad Infotech
 
Agile Testing 2020
Agile Testing 2020Agile Testing 2020
Agile Testing 2020
arzu TR
 
The Ultimate Test Automation Guide_ Best Practices and Tips.pdf
The Ultimate Test Automation Guide_ Best Practices and Tips.pdfThe Ultimate Test Automation Guide_ Best Practices and Tips.pdf
The Ultimate Test Automation Guide_ Best Practices and Tips.pdf
kalichargn70th171
 
The journey to Continuous Automation - Chef Automate
The journey to Continuous Automation - Chef AutomateThe journey to Continuous Automation - Chef Automate
The journey to Continuous Automation - Chef Automate
Kangaroot
 
Compliance Automation: detect & correct
Compliance Automation: detect & correctCompliance Automation: detect & correct
Compliance Automation: detect & correct
Kangaroot
 
How to build confidence in your release cycle
How to build confidence in your release cycleHow to build confidence in your release cycle
How to build confidence in your release cycle
DiUS
 
Experiment Your Way to Product Success: How User Acceptance Testing Can Save ...
Experiment Your Way to Product Success: How User Acceptance Testing Can Save ...Experiment Your Way to Product Success: How User Acceptance Testing Can Save ...
Experiment Your Way to Product Success: How User Acceptance Testing Can Save ...
Aggregage
 
Agile testingandautomation
Agile testingandautomationAgile testingandautomation
Agile testingandautomation
jeisner
 
[Webinar] Test First, Fail Fast - Simplifying the Tester's Transition to DevOps
[Webinar] Test First, Fail Fast - Simplifying the Tester's Transition to DevOps[Webinar] Test First, Fail Fast - Simplifying the Tester's Transition to DevOps
[Webinar] Test First, Fail Fast - Simplifying the Tester's Transition to DevOps
KMS Technology
 
User Acceptance Testing in the Testing Center of Excellence
User Acceptance Testing in the Testing Center of ExcellenceUser Acceptance Testing in the Testing Center of Excellence
User Acceptance Testing in the Testing Center of Excellence
TechWell
 
Quality Assurance & Testing in a glimpse
Quality Assurance & Testing in a glimpseQuality Assurance & Testing in a glimpse
Quality Assurance & Testing in a glimpse
Tahmid Munaz
 
Scaling Quality by Building it in - Agile Tour Ottawa 2017
Scaling Quality by Building it in - Agile Tour Ottawa 2017Scaling Quality by Building it in - Agile Tour Ottawa 2017
Scaling Quality by Building it in - Agile Tour Ottawa 2017
Maurizio Mancini
 
Independent verification & validation presented by Maneat v02
Independent verification & validation presented by Maneat v02Independent verification & validation presented by Maneat v02
Independent verification & validation presented by Maneat v02
Dr. Pierpaolo Mangeruga
 

More from QADay (20)

СТАНІСЛАВ ПОЛЬСЬКОЙ «QA це спільна справа: залучення БА та девів у процес заб...
СТАНІСЛАВ ПОЛЬСЬКОЙ «QA це спільна справа: залучення БА та девів у процес заб...СТАНІСЛАВ ПОЛЬСЬКОЙ «QA це спільна справа: залучення БА та девів у процес заб...
СТАНІСЛАВ ПОЛЬСЬКОЙ «QA це спільна справа: залучення БА та девів у процес заб...
QADay
 
РАМЕЛЛА БАСЕНКО - Tехніки тест дизайну в дії: розбір задач та корисні поради...
РАМЕЛЛА БАСЕНКО -  Tехніки тест дизайну в дії: розбір задач та корисні поради...РАМЕЛЛА БАСЕНКО -  Tехніки тест дизайну в дії: розбір задач та корисні поради...
РАМЕЛЛА БАСЕНКО - Tехніки тест дизайну в дії: розбір задач та корисні поради...
QADay
 
КАТЕРИНА АБЗЯТОВА - Tехніки тест дизайну в дії: розбір задач та корисні порад...
КАТЕРИНА АБЗЯТОВА - Tехніки тест дизайну в дії: розбір задач та корисні порад...КАТЕРИНА АБЗЯТОВА - Tехніки тест дизайну в дії: розбір задач та корисні порад...
КАТЕРИНА АБЗЯТОВА - Tехніки тест дизайну в дії: розбір задач та корисні порад...
QADay
 
ЮРІЙ БАЖАН «Один спринт з життя тестувальника»
ЮРІЙ БАЖАН «Один спринт з життя тестувальника»ЮРІЙ БАЖАН «Один спринт з життя тестувальника»
ЮРІЙ БАЖАН «Один спринт з життя тестувальника»
QADay
 
ЮРІЙ МАЛИЙ «QA метрики в процесі SDLC»..
ЮРІЙ МАЛИЙ «QA метрики в процесі SDLC»..ЮРІЙ МАЛИЙ «QA метрики в процесі SDLC»..
ЮРІЙ МАЛИЙ «QA метрики в процесі SDLC»..
QADay
 
АНДРІЙ ЗАБЛОЦЬКИЙ « Досвід побудови сильної та ефективної QA команди»
АНДРІЙ ЗАБЛОЦЬКИЙ « Досвід побудови сильної та ефективної QA команди»АНДРІЙ ЗАБЛОЦЬКИЙ « Досвід побудови сильної та ефективної QA команди»
АНДРІЙ ЗАБЛОЦЬКИЙ « Досвід побудови сильної та ефективної QA команди»
QADay
 
РІНА УЖЕВКО «Тестування локалізації та терміни в Gamedev»
РІНА УЖЕВКО «Тестування локалізації та терміни в Gamedev»РІНА УЖЕВКО «Тестування локалізації та терміни в Gamedev»
РІНА УЖЕВКО «Тестування локалізації та терміни в Gamedev»
QADay
 
КАТЕРИНА АБЗЯТОВА «Від бар’єрів до мостів: Важливість Accessibility Testing»
КАТЕРИНА АБЗЯТОВА «Від бар’єрів до мостів: Важливість Accessibility Testing»КАТЕРИНА АБЗЯТОВА «Від бар’єрів до мостів: Важливість Accessibility Testing»
КАТЕРИНА АБЗЯТОВА «Від бар’єрів до мостів: Важливість Accessibility Testing»
QADay
 
ЄВГЕН ГАЙДАЙ «Виділена команда автоматизації тестування. Досвід підтримки та ...
ЄВГЕН ГАЙДАЙ «Виділена команда автоматизації тестування. Досвід підтримки та ...ЄВГЕН ГАЙДАЙ «Виділена команда автоматизації тестування. Досвід підтримки та ...
ЄВГЕН ГАЙДАЙ «Виділена команда автоматизації тестування. Досвід підтримки та ...
QADay
 
АНАСТАСІЯ ЧУДОВСЬКА «Переїзд з моноліта на мікросервіси з точки зору QA: як ...
АНАСТАСІЯ ЧУДОВСЬКА  «Переїзд з моноліта на мікросервіси з точки зору QA: як ...АНАСТАСІЯ ЧУДОВСЬКА  «Переїзд з моноліта на мікросервіси з точки зору QA: як ...
АНАСТАСІЯ ЧУДОВСЬКА «Переїзд з моноліта на мікросервіси з точки зору QA: як ...
QADay
 
СОФІЯ НОВАЧЕНКО «Успішне поєднання QA/BA обовʼязків»
СОФІЯ НОВАЧЕНКО «Успішне поєднання QA/BA обовʼязків»СОФІЯ НОВАЧЕНКО «Успішне поєднання QA/BA обовʼязків»
СОФІЯ НОВАЧЕНКО «Успішне поєднання QA/BA обовʼязків»
QADay
 
ОЛЕНА НІКІТІНА «Глибинне занурення в процеси тестування: від документації до ...
ОЛЕНА НІКІТІНА «Глибинне занурення в процеси тестування: від документації до ...ОЛЕНА НІКІТІНА «Глибинне занурення в процеси тестування: від документації до ...
ОЛЕНА НІКІТІНА «Глибинне занурення в процеси тестування: від документації до ...
QADay
 
ОЛЕСЬ НІКАНЮК «Особливості тестування в міжнародних організаціях: досвід та в...
ОЛЕСЬ НІКАНЮК «Особливості тестування в міжнародних організаціях: досвід та в...ОЛЕСЬ НІКАНЮК «Особливості тестування в міжнародних організаціях: досвід та в...
ОЛЕСЬ НІКАНЮК «Особливості тестування в міжнародних організаціях: досвід та в...
QADay
 
ОЛЕГ ЗАРЕВИЧ «Взаємодії між DevOps і QA»
ОЛЕГ ЗАРЕВИЧ «Взаємодії між DevOps і QA»ОЛЕГ ЗАРЕВИЧ «Взаємодії між DevOps і QA»
ОЛЕГ ЗАРЕВИЧ «Взаємодії між DevOps і QA»
QADay
 
СВЯТ ЛОГІН «Що можна витягнути з мобільних додатків»
СВЯТ ЛОГІН «Що можна витягнути з мобільних додатків»СВЯТ ЛОГІН «Що можна витягнути з мобільних додатків»
СВЯТ ЛОГІН «Що можна витягнути з мобільних додатків»
QADay
 
ГАННА КАПЛУН «Тестування на основі персон: ідея, інструменти, приклади»
ГАННА КАПЛУН «Тестування на основі персон: ідея, інструменти, приклади»ГАННА КАПЛУН «Тестування на основі персон: ідея, інструменти, приклади»
ГАННА КАПЛУН «Тестування на основі персон: ідея, інструменти, приклади»
QADay
 
НАТАЛІЯ КРИВОНІС «Необхідні навички для керування командою»
НАТАЛІЯ КРИВОНІС «Необхідні навички для керування командою»НАТАЛІЯ КРИВОНІС «Необхідні навички для керування командою»
НАТАЛІЯ КРИВОНІС «Необхідні навички для керування командою»
QADay
 
ОКСАНА ВЕРЕТЮК «Effective project quality check або як успішно налагодити про...
ОКСАНА ВЕРЕТЮК «Effective project quality check або як успішно налагодити про...ОКСАНА ВЕРЕТЮК «Effective project quality check або як успішно налагодити про...
ОКСАНА ВЕРЕТЮК «Effective project quality check або як успішно налагодити про...
QADay
 
ВІТАЛІЙ МИХАЙЛЮК «Онбордінг нових тестерів до команди: як ефективно навчати і...
ВІТАЛІЙ МИХАЙЛЮК «Онбордінг нових тестерів до команди: як ефективно навчати і...ВІТАЛІЙ МИХАЙЛЮК «Онбордінг нових тестерів до команди: як ефективно навчати і...
ВІТАЛІЙ МИХАЙЛЮК «Онбордінг нових тестерів до команди: як ефективно навчати і...
QADay
 
СОФІЯ КОГУТ «Ентузіазм і мотивація на тривалих проектах: стратегії уникнення ...
СОФІЯ КОГУТ «Ентузіазм і мотивація на тривалих проектах: стратегії уникнення ...СОФІЯ КОГУТ «Ентузіазм і мотивація на тривалих проектах: стратегії уникнення ...
СОФІЯ КОГУТ «Ентузіазм і мотивація на тривалих проектах: стратегії уникнення ...
QADay
 
СТАНІСЛАВ ПОЛЬСЬКОЙ «QA це спільна справа: залучення БА та девів у процес заб...
СТАНІСЛАВ ПОЛЬСЬКОЙ «QA це спільна справа: залучення БА та девів у процес заб...СТАНІСЛАВ ПОЛЬСЬКОЙ «QA це спільна справа: залучення БА та девів у процес заб...
СТАНІСЛАВ ПОЛЬСЬКОЙ «QA це спільна справа: залучення БА та девів у процес заб...
QADay
 
РАМЕЛЛА БАСЕНКО - Tехніки тест дизайну в дії: розбір задач та корисні поради...
РАМЕЛЛА БАСЕНКО -  Tехніки тест дизайну в дії: розбір задач та корисні поради...РАМЕЛЛА БАСЕНКО -  Tехніки тест дизайну в дії: розбір задач та корисні поради...
РАМЕЛЛА БАСЕНКО - Tехніки тест дизайну в дії: розбір задач та корисні поради...
QADay
 
КАТЕРИНА АБЗЯТОВА - Tехніки тест дизайну в дії: розбір задач та корисні порад...
КАТЕРИНА АБЗЯТОВА - Tехніки тест дизайну в дії: розбір задач та корисні порад...КАТЕРИНА АБЗЯТОВА - Tехніки тест дизайну в дії: розбір задач та корисні порад...
КАТЕРИНА АБЗЯТОВА - Tехніки тест дизайну в дії: розбір задач та корисні порад...
QADay
 
ЮРІЙ БАЖАН «Один спринт з життя тестувальника»
ЮРІЙ БАЖАН «Один спринт з життя тестувальника»ЮРІЙ БАЖАН «Один спринт з життя тестувальника»
ЮРІЙ БАЖАН «Один спринт з життя тестувальника»
QADay
 
ЮРІЙ МАЛИЙ «QA метрики в процесі SDLC»..
ЮРІЙ МАЛИЙ «QA метрики в процесі SDLC»..ЮРІЙ МАЛИЙ «QA метрики в процесі SDLC»..
ЮРІЙ МАЛИЙ «QA метрики в процесі SDLC»..
QADay
 
АНДРІЙ ЗАБЛОЦЬКИЙ « Досвід побудови сильної та ефективної QA команди»
АНДРІЙ ЗАБЛОЦЬКИЙ « Досвід побудови сильної та ефективної QA команди»АНДРІЙ ЗАБЛОЦЬКИЙ « Досвід побудови сильної та ефективної QA команди»
АНДРІЙ ЗАБЛОЦЬКИЙ « Досвід побудови сильної та ефективної QA команди»
QADay
 
РІНА УЖЕВКО «Тестування локалізації та терміни в Gamedev»
РІНА УЖЕВКО «Тестування локалізації та терміни в Gamedev»РІНА УЖЕВКО «Тестування локалізації та терміни в Gamedev»
РІНА УЖЕВКО «Тестування локалізації та терміни в Gamedev»
QADay
 
КАТЕРИНА АБЗЯТОВА «Від бар’єрів до мостів: Важливість Accessibility Testing»
КАТЕРИНА АБЗЯТОВА «Від бар’єрів до мостів: Важливість Accessibility Testing»КАТЕРИНА АБЗЯТОВА «Від бар’єрів до мостів: Важливість Accessibility Testing»
КАТЕРИНА АБЗЯТОВА «Від бар’єрів до мостів: Важливість Accessibility Testing»
QADay
 
ЄВГЕН ГАЙДАЙ «Виділена команда автоматизації тестування. Досвід підтримки та ...
ЄВГЕН ГАЙДАЙ «Виділена команда автоматизації тестування. Досвід підтримки та ...ЄВГЕН ГАЙДАЙ «Виділена команда автоматизації тестування. Досвід підтримки та ...
ЄВГЕН ГАЙДАЙ «Виділена команда автоматизації тестування. Досвід підтримки та ...
QADay
 
АНАСТАСІЯ ЧУДОВСЬКА «Переїзд з моноліта на мікросервіси з точки зору QA: як ...
АНАСТАСІЯ ЧУДОВСЬКА  «Переїзд з моноліта на мікросервіси з точки зору QA: як ...АНАСТАСІЯ ЧУДОВСЬКА  «Переїзд з моноліта на мікросервіси з точки зору QA: як ...
АНАСТАСІЯ ЧУДОВСЬКА «Переїзд з моноліта на мікросервіси з точки зору QA: як ...
QADay
 
СОФІЯ НОВАЧЕНКО «Успішне поєднання QA/BA обовʼязків»
СОФІЯ НОВАЧЕНКО «Успішне поєднання QA/BA обовʼязків»СОФІЯ НОВАЧЕНКО «Успішне поєднання QA/BA обовʼязків»
СОФІЯ НОВАЧЕНКО «Успішне поєднання QA/BA обовʼязків»
QADay
 
ОЛЕНА НІКІТІНА «Глибинне занурення в процеси тестування: від документації до ...
ОЛЕНА НІКІТІНА «Глибинне занурення в процеси тестування: від документації до ...ОЛЕНА НІКІТІНА «Глибинне занурення в процеси тестування: від документації до ...
ОЛЕНА НІКІТІНА «Глибинне занурення в процеси тестування: від документації до ...
QADay
 
ОЛЕСЬ НІКАНЮК «Особливості тестування в міжнародних організаціях: досвід та в...
ОЛЕСЬ НІКАНЮК «Особливості тестування в міжнародних організаціях: досвід та в...ОЛЕСЬ НІКАНЮК «Особливості тестування в міжнародних організаціях: досвід та в...
ОЛЕСЬ НІКАНЮК «Особливості тестування в міжнародних організаціях: досвід та в...
QADay
 
ОЛЕГ ЗАРЕВИЧ «Взаємодії між DevOps і QA»
ОЛЕГ ЗАРЕВИЧ «Взаємодії між DevOps і QA»ОЛЕГ ЗАРЕВИЧ «Взаємодії між DevOps і QA»
ОЛЕГ ЗАРЕВИЧ «Взаємодії між DevOps і QA»
QADay
 
СВЯТ ЛОГІН «Що можна витягнути з мобільних додатків»
СВЯТ ЛОГІН «Що можна витягнути з мобільних додатків»СВЯТ ЛОГІН «Що можна витягнути з мобільних додатків»
СВЯТ ЛОГІН «Що можна витягнути з мобільних додатків»
QADay
 
ГАННА КАПЛУН «Тестування на основі персон: ідея, інструменти, приклади»
ГАННА КАПЛУН «Тестування на основі персон: ідея, інструменти, приклади»ГАННА КАПЛУН «Тестування на основі персон: ідея, інструменти, приклади»
ГАННА КАПЛУН «Тестування на основі персон: ідея, інструменти, приклади»
QADay
 
НАТАЛІЯ КРИВОНІС «Необхідні навички для керування командою»
НАТАЛІЯ КРИВОНІС «Необхідні навички для керування командою»НАТАЛІЯ КРИВОНІС «Необхідні навички для керування командою»
НАТАЛІЯ КРИВОНІС «Необхідні навички для керування командою»
QADay
 
ОКСАНА ВЕРЕТЮК «Effective project quality check або як успішно налагодити про...
ОКСАНА ВЕРЕТЮК «Effective project quality check або як успішно налагодити про...ОКСАНА ВЕРЕТЮК «Effective project quality check або як успішно налагодити про...
ОКСАНА ВЕРЕТЮК «Effective project quality check або як успішно налагодити про...
QADay
 
ВІТАЛІЙ МИХАЙЛЮК «Онбордінг нових тестерів до команди: як ефективно навчати і...
ВІТАЛІЙ МИХАЙЛЮК «Онбордінг нових тестерів до команди: як ефективно навчати і...ВІТАЛІЙ МИХАЙЛЮК «Онбордінг нових тестерів до команди: як ефективно навчати і...
ВІТАЛІЙ МИХАЙЛЮК «Онбордінг нових тестерів до команди: як ефективно навчати і...
QADay
 
СОФІЯ КОГУТ «Ентузіазм і мотивація на тривалих проектах: стратегії уникнення ...
СОФІЯ КОГУТ «Ентузіазм і мотивація на тривалих проектах: стратегії уникнення ...СОФІЯ КОГУТ «Ентузіазм і мотивація на тривалих проектах: стратегії уникнення ...
СОФІЯ КОГУТ «Ентузіазм і мотивація на тривалих проектах: стратегії уникнення ...
QADay
 
Ad

Recently uploaded (20)

YSPH VMOC Special Report - Measles Outbreak Southwest US 4-30-2025.pptx
YSPH VMOC Special Report - Measles Outbreak  Southwest US 4-30-2025.pptxYSPH VMOC Special Report - Measles Outbreak  Southwest US 4-30-2025.pptx
YSPH VMOC Special Report - Measles Outbreak Southwest US 4-30-2025.pptx
Yale School of Public Health - The Virtual Medical Operations Center (VMOC)
 
Phoenix – A Collaborative Renewal of Children’s and Young People’s Services C...
Phoenix – A Collaborative Renewal of Children’s and Young People’s Services C...Phoenix – A Collaborative Renewal of Children’s and Young People’s Services C...
Phoenix – A Collaborative Renewal of Children’s and Young People’s Services C...
Library Association of Ireland
 
Multi-currency in odoo accounting and Update exchange rates automatically in ...
Multi-currency in odoo accounting and Update exchange rates automatically in ...Multi-currency in odoo accounting and Update exchange rates automatically in ...
Multi-currency in odoo accounting and Update exchange rates automatically in ...
Celine George
 
YSPH VMOC Special Report - Measles Outbreak Southwest US 5-3-2025.pptx
YSPH VMOC Special Report - Measles Outbreak  Southwest US 5-3-2025.pptxYSPH VMOC Special Report - Measles Outbreak  Southwest US 5-3-2025.pptx
YSPH VMOC Special Report - Measles Outbreak Southwest US 5-3-2025.pptx
Yale School of Public Health - The Virtual Medical Operations Center (VMOC)
 
LDMMIA Reiki Master Spring 2025 Mini Updates
LDMMIA Reiki Master Spring 2025 Mini UpdatesLDMMIA Reiki Master Spring 2025 Mini Updates
LDMMIA Reiki Master Spring 2025 Mini Updates
LDM Mia eStudios
 
Ultimate VMware 2V0-11.25 Exam Dumps for Exam Success
Ultimate VMware 2V0-11.25 Exam Dumps for Exam SuccessUltimate VMware 2V0-11.25 Exam Dumps for Exam Success
Ultimate VMware 2V0-11.25 Exam Dumps for Exam Success
Mark Soia
 
Sinhala_Male_Names.pdf Sinhala_Male_Name
Sinhala_Male_Names.pdf Sinhala_Male_NameSinhala_Male_Names.pdf Sinhala_Male_Name
Sinhala_Male_Names.pdf Sinhala_Male_Name
keshanf79
 
Operations Management (Dr. Abdulfatah Salem).pdf
Operations Management (Dr. Abdulfatah Salem).pdfOperations Management (Dr. Abdulfatah Salem).pdf
Operations Management (Dr. Abdulfatah Salem).pdf
Arab Academy for Science, Technology and Maritime Transport
 
Odoo Inventory Rules and Routes v17 - Odoo Slides
Odoo Inventory Rules and Routes v17 - Odoo SlidesOdoo Inventory Rules and Routes v17 - Odoo Slides
Odoo Inventory Rules and Routes v17 - Odoo Slides
Celine George
 
Exploring-Substances-Acidic-Basic-and-Neutral.pdf
Exploring-Substances-Acidic-Basic-and-Neutral.pdfExploring-Substances-Acidic-Basic-and-Neutral.pdf
Exploring-Substances-Acidic-Basic-and-Neutral.pdf
Sandeep Swamy
 
SPRING FESTIVITIES - UK AND USA -
SPRING FESTIVITIES - UK AND USA            -SPRING FESTIVITIES - UK AND USA            -
SPRING FESTIVITIES - UK AND USA -
Colégio Santa Teresinha
 
apa-style-referencing-visual-guide-2025.pdf
apa-style-referencing-visual-guide-2025.pdfapa-style-referencing-visual-guide-2025.pdf
apa-style-referencing-visual-guide-2025.pdf
Ishika Ghosh
 
One Hot encoding a revolution in Machine learning
One Hot encoding a revolution in Machine learningOne Hot encoding a revolution in Machine learning
One Hot encoding a revolution in Machine learning
momer9505
 
K12 Tableau Tuesday - Algebra Equity and Access in Atlanta Public Schools
K12 Tableau Tuesday  - Algebra Equity and Access in Atlanta Public SchoolsK12 Tableau Tuesday  - Algebra Equity and Access in Atlanta Public Schools
K12 Tableau Tuesday - Algebra Equity and Access in Atlanta Public Schools
dogden2
 
pulse ppt.pptx Types of pulse , characteristics of pulse , Alteration of pulse
pulse  ppt.pptx Types of pulse , characteristics of pulse , Alteration of pulsepulse  ppt.pptx Types of pulse , characteristics of pulse , Alteration of pulse
pulse ppt.pptx Types of pulse , characteristics of pulse , Alteration of pulse
sushreesangita003
 
To study Digestive system of insect.pptx
To study Digestive system of insect.pptxTo study Digestive system of insect.pptx
To study Digestive system of insect.pptx
Arshad Shaikh
 
SCI BIZ TECH QUIZ (OPEN) PRELIMS XTASY 2025.pptx
SCI BIZ TECH QUIZ (OPEN) PRELIMS XTASY 2025.pptxSCI BIZ TECH QUIZ (OPEN) PRELIMS XTASY 2025.pptx
SCI BIZ TECH QUIZ (OPEN) PRELIMS XTASY 2025.pptx
Ronisha Das
 
Understanding P–N Junction Semiconductors: A Beginner’s Guide
Understanding P–N Junction Semiconductors: A Beginner’s GuideUnderstanding P–N Junction Semiconductors: A Beginner’s Guide
Understanding P–N Junction Semiconductors: A Beginner’s Guide
GS Virdi
 
GDGLSPGCOER - Git and GitHub Workshop.pptx
GDGLSPGCOER - Git and GitHub Workshop.pptxGDGLSPGCOER - Git and GitHub Workshop.pptx
GDGLSPGCOER - Git and GitHub Workshop.pptx
azeenhodekar
 
Biophysics Chapter 3 Methods of Studying Macromolecules.pdf
Biophysics Chapter 3 Methods of Studying Macromolecules.pdfBiophysics Chapter 3 Methods of Studying Macromolecules.pdf
Biophysics Chapter 3 Methods of Studying Macromolecules.pdf
PKLI-Institute of Nursing and Allied Health Sciences Lahore , Pakistan.
 
Phoenix – A Collaborative Renewal of Children’s and Young People’s Services C...
Phoenix – A Collaborative Renewal of Children’s and Young People’s Services C...Phoenix – A Collaborative Renewal of Children’s and Young People’s Services C...
Phoenix – A Collaborative Renewal of Children’s and Young People’s Services C...
Library Association of Ireland
 
Multi-currency in odoo accounting and Update exchange rates automatically in ...
Multi-currency in odoo accounting and Update exchange rates automatically in ...Multi-currency in odoo accounting and Update exchange rates automatically in ...
Multi-currency in odoo accounting and Update exchange rates automatically in ...
Celine George
 
LDMMIA Reiki Master Spring 2025 Mini Updates
LDMMIA Reiki Master Spring 2025 Mini UpdatesLDMMIA Reiki Master Spring 2025 Mini Updates
LDMMIA Reiki Master Spring 2025 Mini Updates
LDM Mia eStudios
 
Ultimate VMware 2V0-11.25 Exam Dumps for Exam Success
Ultimate VMware 2V0-11.25 Exam Dumps for Exam SuccessUltimate VMware 2V0-11.25 Exam Dumps for Exam Success
Ultimate VMware 2V0-11.25 Exam Dumps for Exam Success
Mark Soia
 
Sinhala_Male_Names.pdf Sinhala_Male_Name
Sinhala_Male_Names.pdf Sinhala_Male_NameSinhala_Male_Names.pdf Sinhala_Male_Name
Sinhala_Male_Names.pdf Sinhala_Male_Name
keshanf79
 
Odoo Inventory Rules and Routes v17 - Odoo Slides
Odoo Inventory Rules and Routes v17 - Odoo SlidesOdoo Inventory Rules and Routes v17 - Odoo Slides
Odoo Inventory Rules and Routes v17 - Odoo Slides
Celine George
 
Exploring-Substances-Acidic-Basic-and-Neutral.pdf
Exploring-Substances-Acidic-Basic-and-Neutral.pdfExploring-Substances-Acidic-Basic-and-Neutral.pdf
Exploring-Substances-Acidic-Basic-and-Neutral.pdf
Sandeep Swamy
 
apa-style-referencing-visual-guide-2025.pdf
apa-style-referencing-visual-guide-2025.pdfapa-style-referencing-visual-guide-2025.pdf
apa-style-referencing-visual-guide-2025.pdf
Ishika Ghosh
 
One Hot encoding a revolution in Machine learning
One Hot encoding a revolution in Machine learningOne Hot encoding a revolution in Machine learning
One Hot encoding a revolution in Machine learning
momer9505
 
K12 Tableau Tuesday - Algebra Equity and Access in Atlanta Public Schools
K12 Tableau Tuesday  - Algebra Equity and Access in Atlanta Public SchoolsK12 Tableau Tuesday  - Algebra Equity and Access in Atlanta Public Schools
K12 Tableau Tuesday - Algebra Equity and Access in Atlanta Public Schools
dogden2
 
pulse ppt.pptx Types of pulse , characteristics of pulse , Alteration of pulse
pulse  ppt.pptx Types of pulse , characteristics of pulse , Alteration of pulsepulse  ppt.pptx Types of pulse , characteristics of pulse , Alteration of pulse
pulse ppt.pptx Types of pulse , characteristics of pulse , Alteration of pulse
sushreesangita003
 
To study Digestive system of insect.pptx
To study Digestive system of insect.pptxTo study Digestive system of insect.pptx
To study Digestive system of insect.pptx
Arshad Shaikh
 
SCI BIZ TECH QUIZ (OPEN) PRELIMS XTASY 2025.pptx
SCI BIZ TECH QUIZ (OPEN) PRELIMS XTASY 2025.pptxSCI BIZ TECH QUIZ (OPEN) PRELIMS XTASY 2025.pptx
SCI BIZ TECH QUIZ (OPEN) PRELIMS XTASY 2025.pptx
Ronisha Das
 
Understanding P–N Junction Semiconductors: A Beginner’s Guide
Understanding P–N Junction Semiconductors: A Beginner’s GuideUnderstanding P–N Junction Semiconductors: A Beginner’s Guide
Understanding P–N Junction Semiconductors: A Beginner’s Guide
GS Virdi
 
GDGLSPGCOER - Git and GitHub Workshop.pptx
GDGLSPGCOER - Git and GitHub Workshop.pptxGDGLSPGCOER - Git and GitHub Workshop.pptx
GDGLSPGCOER - Git and GitHub Workshop.pptx
azeenhodekar
 
Ad

АЛЛА ПЕНАЛЬБА «QA automation, the secret weapon that need (a) manual»

  • 1. QA automation, the secret weapon that need (a) manual Alla Penalba, Sr Manager, QA Engineering
  • 2. Who am I ? ★ 15+ years in Quality Assurance in product companies ★ 9 years in QA Management including manual and automated testing ★ Mentor & trainer on QA courses for 3 years in total ★ Currently - Sr Manager, QA Engineering for Retail product in DraftKings ★ Favourite words: efficiency, optimization, flexibility :)
  • 3. What your boss is asking ➔ How much faster can we release ? ➔ How much money are we saving ? ➔ Can we fire all manual QAs now that we have automation?
  • 4. An automation story ➔ 500 test cases automated ➔ “Run” once a week (crash twice a week) ➔ Unclear coverage ➔ Slower to run than to test by hand
  • 5. Key Reasons for Failure Reason: unclear strategy & misalignment in expectations ➔ Why do we want to automate? ➔ What do we want to achieve? ➔ How do we measure success?
  • 6. Key Reasons for Failure Reason: inconsistent test maintenance & stability of automation ➔ How to support constantly changing product functionality? ➔ Ensure automation stability
  • 7. Key Reasons for Failure Reason: separation of manual and automated testing ➔ The Automation bubble ➔ Manual QA Engineers not using Automation in their daily routine
  • 9. How not to fail? Step 1: Define clear goal and success measure For example, ➔ we would like to cover by automation all Sanity verification as well as main flows for all features product has and by this decrease time we spent on Regression/HFs verification by X% ➔ we would like to cover by API tests all our microservices and API and decrease time required for compatibility/new version/production verification by X%
  • 10. How not to fail? Step 2: Evaluate team skills and readiness ➔ Do we have people with enough technical capabilities? Step 3: Tool selection ➔ Ensure tools align with your tech stack and business needs ➔ Evaluate tool integration with existing CI/CD pipelines
  • 11. How not to fail? Step 4: Review your Test coverage and define roadmap for Automation ➔ Check that your manual test cases are ready to be automated: ◆ up to date ◆ modular ◆ have good detalization of verification points ◆ easy to maintain ➔ Define the roadmap for automation ◆ critical flows ◆ repetitive verifications ◆ high-risks test
  • 12. How not to fail? Step 5: Define approach for tests maintenance and scalability ➔ Think about how automated tests will support changes in the product ➔ Plan the process on how to ensure 1-1 match between manual and automated tests ➔ Ensure availability of resources dedicated to keeping AT tests up-to-date and stable
  • 13. How not to fail? Step 6: Build collaboration with all involved teams ➔ Facilitate strong collaboration between developers, manual QAs, DevOps and Automation team ➔ Make sure everyone is aligned on automation goals and progress “Communication is a key to success”
  • 14. How to evaluate ROI? What does ROI means for your project? ➔ Time savings ➔ Cost reduction ➔ Higher quality release
  • 16. How automation helped to my project ★ Regression duration cut by 50% ★ # of Bugs reported on the early stage (during the development) based on automation runs increased by 20% ★ Significant decrease in production deployment verification ★ Post-RnD verification has been decreased by 75%