10 принципов автоматизации, которые я не предам

Editor's Notes

• #2: Принципы «правильной» автоматизации всем хорошо известны, но почему-то даже опытные автоматизаторы не всегда им следуют. Допуская ошибки одну за другой, мы и не замечаем, как укорачиваем жизнь нашим авто-тестам. В результате, нередко случается так, что наши решения со временем забрасываются и не выживают, либо же превращаются в «чемодан без ручки» - когда нести тяжело, а выбросить жалко. Я предлагаю по-новому взглянуть на автоматизацию в проектах и увидеть общие ошибки. Я расскажу о 10 принципах автоматизации, к которым пришла моя команда на собственном опыте, и которые помогут не наступать на одни и те же грабли. Доклад смогут «прочувствовать» все тестировщики, работающие на проектах, где есть автоматизация. 10 Test Automation Principles that I will Never Betray Principles of «right» test automation are well-known, but for some reasons even experienced test automation engineers disregard them sometimes. Making mistakes one after another, we do not even see how we shorten lives of our auto-tests. As a result, our solutions are neglected with time and cannot survive. Or they transform to a “suitcase without a handle” – when it’s too hard to carry it and still you cannot throw it away. I suggest to look at test automation by new way and see common mistakes. I will tell about 10 test automation principles that have been found out by my team on own experience, and which will help to avoid mistakes in future. The speech will touch all test engineers who are working in the projects with test automation.
• #3: Работаю в тестировании уже почти 10 лет, 5 лет занимаюсь автоматизацией. В данный момент занимаюсь проджект менеджером, но остаюсь автоматизатором в душе.
• #4: Компания Итера предоставляет сервис автоматизации тестирования, и имеет хорошую репутацию. У нас работают действительно хорошие автоматизаторы, возможно одни из сильнейших в Киеве. Более 10 автоматизаторов, около 10 проектов чисто по автоматизации, несколько проектов по разработке, где тоже есть автоматизация.
• #5: Мы решили взглянуть под новым углом на 3 успешных проекта по автоматизации, после прошествия некоторого времени. Используется ли автоматизация по прошествии времени? Живы ли тесты без нашего постоянного внимания? Выживают ли тесты, когда меняются люди в командах? Доволен ли заказчик нашим сервисом до сих пор? Приносят ли авто-тесты пользу? 1. Телеком проект. После окончания проекта прошло 2 года. Заказчик больше не использует ТА решение Авто-тесты больше «не живы» 2. Банк. Проект недавно закончился. Заказчик хочет использовать ТА решение, но не может его поддерживать Прогноз неутешителен: без нас, TA решение скоро «умрет» 3. Страховая компания. Заказчик использует ТА решение (6 месяцев) Заказчик может поддерживать тестовые данные Проект был стрессовый для команды, было много овертаймов, и некоторые вещи пришлось переделывать несколько раз Но проектов было на самом деле намного больше! И за 9 лет в тестировании я вижу, что очень часто повторяется одна и та же история...
• #6: Мы решили взглянуть под новым углом на 3 успешных проекта по автоматизации, после прошествия некоторого времени. Используется ли автоматизация по прошествии времени? Живы ли тесты без нашего постоянного внимания? Выживают ли тесты, когда меняются люди в командах? Доволен ли заказчик нашим сервисом до сих пор? Приносят ли авто-тесты пользу? 1. Телеком проект. После окончания проекта прошло 2 года. Заказчик больше не использует ТА решение Авто-тесты больше «не живы» 2. Банк. Проект недавно закончился. Заказчик хочет использовать ТА решение, но не может его поддерживать Прогноз неутешителен: без нас, TA решение скоро «умрет» 3. Страховая компания. Заказчик использует ТА решение (6 месяцев) Заказчик может поддерживать тестовые данные Проект был стрессовый для команды, было много овертаймов, и некоторые вещи пришлось переделывать несколько раз Но проектов было на самом деле намного больше! И за почти 10 лет в тестировании я вижу, что очень часто повторяется одна и та же история. Где-то - ушли 3 ключевые человека из команды, поменялся менеджер – автоматизацию перестали поддерживать, проект умер. Где-то – проект по автоматизации, успешно сдали, прошло время, и оказалось, что его уже никто не использует. Еще один пример – команда автоматизаторов написала свой (!) инструмент для тестирования TIBCO платформы. Было заавтоматизирован много тест кейсов. Но затем один за другим автоматизаторы ушли из проекта, вместо них приходили другие люди. В итоге свои инструментам заниматься постепенно перестали, тесты забросили. Купили другой инструмент (коммерческий и очень дорогой),и уже на нем начали вновь автоматизировать те же самые тесты! О прошествии года о старом инструменте и старых тестах все забыли.
• #7: К сожалению, редко автоматизация живет много лет. Разные проекты, разные ситуации, но исход часто один...
• #8: Если проанализировать причины в разных проектах, то они очень схожи: Сложные нестабильные сценарии Сложность решения Заказчик не понимает НА САМОМ ДЕЛЕ необходимость поддержки Авто-тесты тестируют не то, что нужно
• #9: Я хочу, чтобы автоматизация жила дольше! Ведь классно, когда есть проект или продукт развивается, и автоматизация, живет и используется 5-8-10 лет! Проанализировав общие проблемы, мы пришли к 10 приципам, которых необходимо придерживаться, чтобы не наступать на те же грабли снова. Некоторые из этих принципов – известные best practices, которые мы прочувствовали на своем опыте, а некоторые принципы потребовали изменения в наших подходах. Но эти принципы помогут продлить жизнь автоматизации и получить больше пользы от нее.
• #10: Настолько короткие, насколько возможно, узконаправленные. Должны тестировать: либо отдельный компонент системы либо интеграцию между компонентами Огромные бизнес сценарии со множеством зависимостей не автоматизировать
• #11: Настолько короткие, насколько возможно, узконаправленные. Должны тестировать: либо отдельный компонент системы либо интеграцию между компонентами Огромные бизнес сценарии со множеством зависимостей не автоматизировать
• #12: Часто тесты нестабильны именно из-за зависимостей от конфигурации системы или на данные в системе. 1. Добавить в тесты pre-condition шаги, которые проверяют конфигурацию системы и если необходимо меняют 2. Создать pre-condition тесты, которые создадут все независимые данные 3. Или найдут подходящие данные в системе
• #13: Часто тесты нестабильны именно из-за зависимостей на конфигурацию системы или на данные в системе. 1. Добавить в тесты pre-condition шаги, которые проверяют конфигурацию системы и если необходимо меняют 2. Создать pre-condition тесты, которые создадут все независимые данные 3. Или найдут подходящие данные в системе Простая идея, но ее реализация – довольно трудоемкий процесс. Но в итоге это того стоит!
• #14: Больше server-side автоматизации, меньше в UI: - DB - HTTP запросы - Использование веб-сервисов - etc Автоматизатор должен хорошо знать инфраструктуру системы!
• #15: Больше server-side автоматизации, меньше в UI: - DB - HTTP запросы - Использование веб-сервисов - etc Автоматизатор должен хорошо знать инфраструктуру системы!
• #16: Хорошая распределенность в коде, возможность легко менять тестовые данные. Ни в коем случае не «захардкоженные» данные. И вроде бы все это знают и понимают. Но нередко бывает, когда в спешке, поджимает дедлайн, и что-то дописывается «на коленке», подставляются костыли в стиле «потом когда-нибудь» исправим, но это «когда-нибудь» почему-то не наступает.
• #17: Поддержке часто не придают должного значения в моммент начала работы над автоматизацией. Все вроде как понимают, что тесты надо будет поддерживать, но не четко не ообозначают кто, когда и как это будет делать. Заказчики часто не понимают на самом деле, что поддержка нужна и важна. Быть честным с заказчиком, если мы видим, что он сам не сможет поддерживать тесты Поддержка должна предоставляться в пакете услуг вместе с автоматизацией Делать ревью статуса автоматизации каждые 3-6 месяцев после финального деливери. Наставивать. Оценить объем требуемых изменений и предложить их
• #18: Поддержке часто не придают должного значения в моммент начала работы над автоматизацией. Все вроде как понимают, что тесты надо будет поддерживать, но не четко не ообозначают кто, когда и как это будет делать. Заказчики часто не понимают на самом деле, что поддержка нужна и важна. Быть честным с заказчиком, если мы видим, что он сам не сможет поддерживать тесты Поддержка должна предоставляться в пакете услуг вместе с автоматизацией Делать ревью статуса автоматизации каждые 3-6 месяцев после финального деливери. Наставивать. Оценить объем требуемых изменений и предложить их Документ – оценки усилий по поддержке
• #19: Решение для автоматизации должно быть легко поддерживаемым. В случае проектов “Test Automation as a service” – решение должно быть таким, чтобы с ним могли работать и не автоматизаторы, и возможно даже «не технические» люди. Мы подошли к решению для автоматизации как продукту, который должен быть удобным. 1. Тестовые данные должны быть в удобном формате. Например, Excel с простой структорой. Хранение данных в XML может быть удобным для автоматизатора, но не удобным для пользователя, который будет работать с данными. Если все-таки было принято хранить данный в более сложном формате (XML, DB, etc), то желательно предоставлять удобные эдиторы для работы с такими данными. 2. Предоставлять заказчику шаблоны для хранения данных и примеры. 3. Моздать скрипты, которые генерируют данные. 4. Behavior-driven testing
• #20: Решение для автоматизации должно быть легко поддерживаемым. В случае проектов “Test Automation as a service” – решение должно быть таким, чтобы с ним могли работать и не автоматизаторы, и возможно даже «не технические» люди. Мы подошли к решению для автоматизации как продукту, который должен быть удобным. 1. Тестовые данные должны быть в удобном формате. Например, Excel с простой структорой. Хранение данных в XML может быть удобным для автоматизатора, но не удобным для пользователя, который будет работать с данными. Если все-таки было принято хранить данный в более сложном формате (XML, DB, etc), то желательно предоставлять удобные эдиторы для работы с такими данными. 2. Предоставлять заказчику шаблоны для хранения данных и примеры. 3. Моздать скрипты, которые генерируют данные. 4. Behavior-driven testing
• #21: Актуально для проектов “Test Automation as a Service”. Дать заказчику самому попробовать автоматизацию в процессе разработки
• #22: Сильные автоматизаторы часто хорошие программисты, и они зачастую уверены, что «круче» писать свой код, а не использовать встроенные возможности инструмента. Я приведу пример, как такой подход навредил проекту. Less custom code, more TA tool features Используйте известные фреймфорки KISS :-*
• #23: Документация – это «прививка», которая продлевает жизнь любому решению. Почему же мы так редко ее пишем??
• #24: Документация – это «прививка», которая продлевает жизнь любому решению. Почему же мы так редко ее пишем??
• #25: Мы поговорим о ситуации, когда авто-тесты тестируют не то, что должны, и почему это происходит. Иногда – неправильно был выбран скоуп для автоматизации, и в итоге авто-тесты просто не приносят пользу. Иногда – автоматизаторы неправильно интерпретировали ТС, и сместили фокус. А иногда – в проекте просто был бюджет на автоматизацию, и автоматизировали «что-нибудь», не задумываясь, кому это будет нужно. Одно из решений – это привлекать manual тестировщиков к автоматизации, или автоматизаторов к тест дизайну  Еще одно из решений – это изменить подход к написанию тест кейсов. В любом случае – автоматизатор должен оставаться тестировщиком, и его главная цель должна быть ТЕСТИРОВАТЬ.
• #26: Понятные отчеты: Детальные логи теста Картинки на ключевых шагах и на ошибках
• #27: Понятные отчеты: Детальные логи теста Картинки на ключевых шагах и на ошибках
• #28: В своей компании, мы составили чеклист – список того, что необходимо проверить в любом проекте по автоматизации. На этапе завершения proof of concept, необходимо сделать ревью фрреймворка на соответсвие выделенных нами best practices.