MySQL Test Framework для поддержки клиентов и верификации багов
0 likes34 views
Talk for TestDriven Conf: https://tdconf.ru/2022/abstracts/8763 MySQL Test Framework (MTR) — это фреймворк для регрессионных тестов MySQL. Тесты для него пишут разработчики MySQL и запускаются во время подготовки к новым релизам. MTR можно использовать и по-другому. Я его использую, чтобы тестировать проблемы, о которых сообщают клиенты, и подтверждать сообщения об ошибках (bug reports) одновременно на нескольких версиях MySQL. При помощи MTR можно: * программировать сложные развёртывания; * тестировать проблему на нескольких версиях MySQL/Percona/MariaDB-серверов при помощи одной команды; * тестировать несколько одновременных соединений; * проверять ошибки и возвращаемые значения; * работать с результатами запросов, хранимыми процедурами и внешними командами. Тест может быть запущен на любой машине с MySQL-, Percona- или MariaDB-сервером. Я покажу, как я работаю с MySQL Test Framework, и надеюсь, что вы тоже полюбите этот инструмент.
![sveta@delly:~/build/ps-5.7/mysql-test$ cat suite/mtr_test/t/rpl_mtr_test_9.cnf
!include ../../rpl/my.cnf
[mysqld.1]
log-slave-updates
gtid_mode=ON
enforce-gtid-consistency
Сложные Настройки Репликации
33](https://image.slidesharecdn.com/mtrsmirnova-220701214634-5603bc24/85/MySQL-Test-Framework-33-320.jpg)
![sveta@delly:~/build/ps-5.7/mysql-test$ cat suite/mtr_test/t/rpl_mtr_test_9.cnf
!include ../../rpl/my.cnf
[mysqld.1]
log-slave-updates
gtid_mode=ON
enforce-gtid-consistency
[mysqld.2]
master-info-repository=TABLE
relay-log-info-repository=TABLE
log-slave-updates
gtid_mode=ON
enforce-gtid-consistency
[mysqld.3]
# Third server options
[ENV]
SERVER_MYPORT_3= @mysqld.3.port
SERVER_MYSOCK_3= @mysqld.3.socket
Сложные Настройки Репликации
34](https://image.slidesharecdn.com/mtrsmirnova-220701214634-5603bc24/85/MySQL-Test-Framework-34-320.jpg)
![sveta@delly:~/build/ps-5.7/mysql-test$ ./mtr --suite=your_suite your_test
Logging: ./mtr
MySQL Version 5.7.19
...
==============================================================================
TEST RESULT TIME (ms) or COMMENT
--------------------------------------------------------------------------
worker[1] Using MTR_BUILD_THREAD 300, with reserved ports 13000..13009
create table t1(f1 int);
insert into t1 values(1);
select * from t1;
f1
1
drop table t1;
your_suite.your_test [ pass ] 45802
--------------------------------------------------------------------------
The servers were restarted 0 times
Spent 45.802 of 61 seconds executing testcases
Одной Командой
35](https://image.slidesharecdn.com/mtrsmirnova-220701214634-5603bc24/85/MySQL-Test-Framework-35-320.jpg)
![• Запись результата:
sveta@delly:~/build/ps-5.7/mysql-test$ ./mtr --record --suite=your_suite your_test
Logging: ./mtr
MySQL Version 5.7.19
Checking supported features...
...
==============================================================================
TEST RESULT TIME (ms) or COMMENT
--------------------------------------------------------------------------
worker[1] Using MTR_BUILD_THREAD 300, with reserved ports 13000..13009
your_suite.your_test [ pass ] 45802
--------------------------------------------------------------------------
The servers were restarted 0 times
Spent 45.802 of 61 seconds executing testcases
Completed: All 1 tests were successful.
Одной Командой
36](https://image.slidesharecdn.com/mtrsmirnova-220701214634-5603bc24/85/MySQL-Test-Framework-36-320.jpg)
Ad
More Related Content
Similar to MySQL Test Framework для поддержки клиентов и верификации багов (20)
More from Sveta Smirnova (20)
![Introduction into MySQL Query Tuning for Dev[Op]s](https://cdn.slidesharecdn.com/ss_thumbnails/qtdevops-210717011329-thumbnail.jpg?width=560&fit=bounds)
![Introduction to MySQL Query Tuning for Dev[Op]s](https://cdn.slidesharecdn.com/ss_thumbnails/qtdevops-191005204425-thumbnail.jpg?width=560&fit=bounds)
Ad
MySQL Test Framework для поддержки клиентов и верификации багов
- 1. MySQL Test Framework Света Смирнова 27 - 28 мая 2022 г.
- 2. What my Family Thinks I Do 2
- 3. What my Boss Thinks I Do 3
- 4. What I Really Do 4
- 5. • Почему SQL-код клиента не работает Я Должна Знать 5
- 6. • Почему SQL-код клиента не работает • Повторяется ли ошибка во всех версиях? Я Должна Знать 6
- 7. • Почему SQL-код клиента не работает • Повторяется ли ошибка во всех версиях? • Во всех ветках? Я Должна Знать 7
- 8. • Версию сервера, как у клиента Мне Приходится Тестировать 8
- 9. • Версию сервера, как у клиента • Последнюю в той же major-серии • 5.7.25 и 5.7.38 Мне Приходится Тестировать 9
- 10. • Версию сервера, как у клиента • Последнюю в той же major-серии • Последнюю версию • 8.0.28 Мне Приходится Тестировать 10
- 11. • Версию сервера, как у клиента • Последнюю в той же major-серии • Последнюю версию • Upstream Мне Приходится Тестировать 11
- 12. • Версию сервера, как у клиента • Последнюю в той же major-серии • Последнюю версию • Upstream • Другие форки • MariaDB Мне Приходится Тестировать 12
- 13. • Версию сервера, как у клиента • Последнюю в той же major-серии • Последнюю версию • Upstream • Другие форки • Один и тот же сценарий Мне Приходится Тестировать 13
- 15. • DBdeployer (MySQL Sandbox) • Сложные развёртывания одной командой • Скрипты для start/stop/restart mysqld • Код придётся вводить вручную! Решения 15
- 16. • DBdeployer (MySQL Sandbox) • Docker • Одна команда на всё • Нет предустановленных вариантов • Нужно писать свой Dockerfile для развёртывания опций запуска SQL в контейнере • Не проверяет результаты! Решения 16
- 17. • DBdeployer (MySQL Sandbox) • Docker • MySQL Test Framework Решения 17
- 18. $cat mtr_test_1.test #--source include/have_innodb.inc source include/have_innodb.inc; CREATE TABLE `t` ( `id` int(11) NOT NULL, `f` varchar(100) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB; insert into t values(12345, 'value1'), (54321, 'value2'); select * from t; show create table t; drop table if exists t; Обычный SQL 18
- 20. --source include/have_innodb.inc CREATE TABLE `t` (`id` int(11) NOT NULL, `f` varchar(100) DEFAULT NULL, PRIMARY KEY (`id`)) ENGINE=InnoDB; insert into t values(12345, 'value1'), (54321, 'value2'); begin; select * from t; --connect(addconroot,localhost,root½) --connection addconroot begin; update t set f='foo' where id=12345; commit; --connection default select * from t; drop table if exists t; Параллельное выполнение 20
- 21. --source include/have_innodb.inc CREATE TABLE `t` (`id` int(11) NOT NULL, `f` varchar(100) DEFAULT NULL, PRIMARY KEY (`id`)) ENGINE=InnoDB; insert into t values(12345, 'value1'), (54321, 'value2'); begin; select * from t where id=12345 lock in share mode; --connect(addconroot,localhost,root½) --connection addconroot set innodb_lock_wait_timeout=3; begin; --error 1205 update t set f='value3' where id=12345; rollback; --connection default rollback; drop table if exists t; Обработка Ошибок 21
- 22. ... --connect(addconroot,localhost,root½) --connection addconroot begin; select * from t where id=54321 for update; --connection default --send update t set f='value3' where id=54321 --connection addconroot update t set f='value3' where id=12345; --connection default --error 1213 --reap ... Работа с Выводом 22
- 23. ... --exec $MYSQL_DUMP test > $MYSQL_TEST_DIR/var/tmp/mtr_amer_5.sql --exec ls $MYSQL_TEST_DIR/var/tmp/ drop table t; show tables; --exec $MYSQL test < $MYSQL_TEST_DIR/var/tmp/mtr_amer_5.sql show tables; select * from t; ... Внешние Команды 23
- 24. --source include/have_innodb.inc CREATE TABLE `t` (`id` int(11) NOT NULL, `f` varchar(100) DEFAULT NULL, PRIMARY KEY (`id`)) ENGINE=InnoDB; --disable_query_log --let $c=1 while ($c<100) { --eval insert into t values($c, md5($c)) --inc $c } --enable_query_log Управление Исполнением Программы 24
- 25. sveta@delly:~/build/ps-5.7/mysql-test$ cat suite/mtr_test/t/rpl_mtr_test_7.test --source include/master-slave.inc --source include/have_innodb.inc # We are on primary CREATE TABLE `t` (`id` int(11) NOT NULL, `f` varchar(100) DEFAULT NULL, PRIMARY KEY (`id`)) ENGINE=InnoDB; insert into t values(12345, 'value1'), (54321, 'value2'); select * from t; show create table t; --connection slave --vertical_results show slave status; --connection master --horizontal_results update t set f='foo'; Репликация 25
- 26. #We are on primary --sync_slave_with_master #We are on replica select * from t; --connection master drop table if exists t; --sync_slave_with_master stop slave; Репликация 26
- 27. • На primary sveta@delly:~/build/ps-5.7/mysql-test$ cat suite/mtr_test/t/rpl_mtr_test_7-master.opt --gtid_mode=ON --log-slave-updates --enforce-gtid-consistency --binlog-format=row Опции для Репликации 27
- 28. • На primary sveta@delly:~/build/ps-5.7/mysql-test$ cat suite/mtr_test/t/rpl_mtr_test_7-master.opt --gtid_mode=ON --log-slave-updates --enforce-gtid-consistency --binlog-format=row • На реплике sveta@delly:~/build/ps-5.7/mysql-test$ cat suite/mtr_test/t/rpl_mtr_test_7-slave.opt --gtid_mode=ON --log-slave-updates --enforce-gtid-consistency --binlog-format=row Опции для Репликации 28
- 29. --let $rpl_topology= 1->2,2->3,3->1 --source include/rpl_init.inc Любое Сложное Развёртывание 29
- 30. --let $rpl_topology= 1->2,2->3,3->1 --source include/rpl_init.inc # On server 1 --let $rpl_connection_name= server_1 --source include/rpl_connection.inc create table t1(id int) engine=innodb; insert into t1 values(1); Любое Сложное Развёртывание 30
- 31. --let $rpl_topology= 1->2,2->3,3->1 --source include/rpl_init.inc # On server 1 --let $rpl_connection_name= server_1 --source include/rpl_connection.inc create table t1(id int) engine=innodb; insert into t1 values(1); # On server 2 --let $rpl_connection_name= server_2 --source include/rpl_connection.inc create table t2(id int) engine=innodb; insert into t2 values(2); # On server 3 --let $rpl_connection_name= server_3 --source include/rpl_connection.inc create table t3(id int) engine=innodb; insert into t3 values(3); Любое Сложное Развёртывание 31
- 32. sveta@delly:~/build/ps-5.7/mysql-test$ cat suite/mtr_test/t/rpl_mtr_test_9.cnf !include ../../rpl/my.cnf Сложные Настройки Репликации 32
- 33. sveta@delly:~/build/ps-5.7/mysql-test$ cat suite/mtr_test/t/rpl_mtr_test_9.cnf !include ../../rpl/my.cnf [mysqld.1] log-slave-updates gtid_mode=ON enforce-gtid-consistency Сложные Настройки Репликации 33
- 34. sveta@delly:~/build/ps-5.7/mysql-test$ cat suite/mtr_test/t/rpl_mtr_test_9.cnf !include ../../rpl/my.cnf [mysqld.1] log-slave-updates gtid_mode=ON enforce-gtid-consistency [mysqld.2] master-info-repository=TABLE relay-log-info-repository=TABLE log-slave-updates gtid_mode=ON enforce-gtid-consistency [mysqld.3] # Third server options [ENV] SERVER_MYPORT_3= @mysqld.3.port SERVER_MYSOCK_3= @mysqld.3.socket Сложные Настройки Репликации 34
- 35. sveta@delly:~/build/ps-5.7/mysql-test$ ./mtr --suite=your_suite your_test Logging: ./mtr MySQL Version 5.7.19 ... ============================================================================== TEST RESULT TIME (ms) or COMMENT -------------------------------------------------------------------------- worker[1] Using MTR_BUILD_THREAD 300, with reserved ports 13000..13009 create table t1(f1 int); insert into t1 values(1); select * from t1; f1 1 drop table t1; your_suite.your_test [ pass ] 45802 -------------------------------------------------------------------------- The servers were restarted 0 times Spent 45.802 of 61 seconds executing testcases Одной Командой 35
- 36. • Запись результата: sveta@delly:~/build/ps-5.7/mysql-test$ ./mtr --record --suite=your_suite your_test Logging: ./mtr MySQL Version 5.7.19 Checking supported features... ... ============================================================================== TEST RESULT TIME (ms) or COMMENT -------------------------------------------------------------------------- worker[1] Using MTR_BUILD_THREAD 300, with reserved ports 13000..13009 your_suite.your_test [ pass ] 45802 -------------------------------------------------------------------------- The servers were restarted 0 times Spent 45.802 of 61 seconds executing testcases Completed: All 1 tests were successful. Одной Командой 36
- 37. • mysql-scripts Для Любого Количества Серверов 37
- 38. • mysql-scripts • Запустить тесты: do_test.sh Для Любого Количества Серверов 38
- 39. • mysql-scripts • Запустить тесты: do_test.sh • Для одной версии $ cp suite/mtr_test/t/mtr_test_1.test ~/src/tests/t $ do_test.sh -b ps-5.7 Logging: ./mysql-test-run.pl --record --force mtr_test_1 MySQL Version 5.7.38-41 ... Для Любого Количества Серверов 39
- 40. • mysql-scripts • Запустить тесты: do_test.sh • Для нескольких версий $ do_test.sh -b ps-8.0 -b ps-5.7 -b ps-5.6 Logging: ./mysql-test-run.pl --record --force mtr_test_1 MySQL Version 8.0.28-20 Checking supported features... ... Для Любого Количества Серверов 40
- 41. • mysql-scripts • Запустить тесты: do_test.sh • Архивировать: ar_test.sh Для Любого Количества Серверов 41
- 42. • mysql-scripts • Запустить тесты: do_test.sh • Архивировать: ar_test.sh • Скопировать на удалённую машину: scp_test.sh Для Любого Количества Серверов 42
- 43. • SQL-Синтакс • Собственные Команды • Развёртывание любой сложности • Автоматическое выполнение • Проверка результатов MySQL Test Framework 43