SBTM (сессионное тестирование)
Сессионное тестирование (SBTM) — метод управления исследовательским тестированием, при котором процесс тестирования разбивается на сессии определенной длины (авторы метода, Джеймс Бах и Джон Бах, рекомендуют длительность около 90 минут).
Миссия сессии
Два-три предложения, описывающие, что именно будет протестировано в этой сессии. Миссия должна быть конкретной, чтобы не размывать усилия, и при этом предоставлять тестировщику достаточную свободу действий — например, исследовать определенную функцию, обращая внимания на риски, несоответствия спецификации, стабильность, время отклика.
Тестирование во время сессии
Как только тестировщики приступают к работе, они отмечают время старта сессии. Точная длительность не так важна, но у команды тестирования должны быть представления о том, сколько примерно сессия заняла. В различных ситуациях она может длиться от 30 минут до двух часов. Если сессия продлилась меньше — миссия была чересчур конкретизирована, больше — слишком расплывчата.
Метрики
Завершив сессию, тестировщик предоставляет отчет о времени, потраченном на следующие задачи:
- Подготовка (S). Сюда входит время, потраченное на любые подготовительные действия, не относящиеся к тестированию напрямую (распечатка документов, конфигурация компьютера, установка и настройка ПО).
- Проектирование и выполнение тестов (T). Время, в течение которого тестировщик исследует функционал и проверяет идеи, которые приходят ему в голову.
- Исследование дефектов и их описание (B). Дефекты, найденные в процессе тестирования, включаются в отчетность и заносятся в систему управления дефектами.
Время, потраченное на записи и исследование найденных странностей, вычитается из времени собственно тестирования, как и подготовительная работа. В результате тест-менеджер может оценить прогресс тестирования (метрика T) и определить, не нужно ли вмешаться в процесс, если метрики S и B занимают слишком много времени — например, предоставить тестировщику ресурсы для сокращения подготовительной работы. Чем больше времени в сессии занимает T-метрика, тем меньше багов было в исследуемом функционале, или подготовка прошла очень быстро.
К другим метрикам SBTM относятся:
- Количество проведенных сессий.
- Количество найденных дефектов.
- Протестированные функциональные области продукта.
- Время, потраченное на тестирование функционала, не относящегося к миссии сессии. Тут важно отметить, что в исследовательском тестировании такие отклонения поощряются — если в процессе тестирования была найдена важная проблема, не относящаяся к текущей миссии, это вполне нормально. Но из общего времени T это время вычитается.
- Количество тестировщиков, участвующих в сессии.
Структура отчета
- Миссия сессии и функционал, который тестировался
- Имя тестировщика
- Дата и время начала сессии
- Задачи (TBS-метрики):
- Общая длительность
- Время на подготовку
- Время на тестирование
- Время на изучение и регистрацию дефектов
- Данные для тестирования
- Заметки
- Вопросы и проблемы
- Найденные дефекты
Обсуждение отчета
После сессии (или нескольких сессий, в зависимости от опытности тестировщика) менеджер и тестировщик обсуждают результаты сессии с целью оценить процесс тестирования и определить, не нуждается ли формулировка миссии в модификациях. Пример чек-листа для такого обсуждения представлен в разделе «Полезные ссылки».
Полезные ссылки:
- Пример SBTM-метрик и отчетности
- Описание метода от Джеймса Баха (англ.)
- Описание метода от Джона Баха (англ.)
- Пример чек-листа для обсуждения отчета (англ.)
- Внедрение сессионного тестирования (блог Ольги Киселевой)
- Сессионное тестирование (доклад Натальи Руколь)