SBTM (сессионное тестирование)

Сессионное тестирование (SBTM) — метод управления исследовательским тестированием, при котором процесс тестирования разбивается на сессии определенной длины (авторы метода, Джеймс Бах и Джон Бах, рекомендуют длительность около 90 минут).

Миссия сессии

Два-три предложения, описывающие, что именно будет протестировано в этой сессии. Миссия должна быть конкретной, чтобы не размывать усилия, и при этом предоставлять тестировщику достаточную свободу действий — например, исследовать определенную функцию, обращая внимания на риски, несоответствия спецификации, стабильность, время отклика.

Тестирование во время сессии

Как только тестировщики приступают к работе, они отмечают время старта сессии. Точная длительность не так важна, но у команды тестирования должны быть представления о том, сколько примерно сессия заняла. В различных ситуациях она может длиться от 30 минут до двух часов. Если сессия продлилась меньше — миссия была чересчур конкретизирована, больше — слишком расплывчата.

Метрики

Завершив сессию, тестировщик предоставляет отчет о времени, потраченном на следующие задачи:

  • Подготовка (S). Сюда входит время, потраченное на любые подготовительные действия, не относящиеся к тестированию напрямую (распечатка документов, конфигурация компьютера, установка и настройка ПО).
  • Проектирование и выполнение тестов (T). Время, в течение которого тестировщик исследует функционал и проверяет идеи, которые приходят ему в голову.
  • Исследование дефектов и их описание (B). Дефекты, найденные в процессе тестирования, включаются в отчетность и заносятся в систему управления дефектами.

Время, потраченное на записи и исследование найденных странностей, вычитается из времени собственно тестирования, как и подготовительная работа. В результате тест-менеджер может оценить прогресс тестирования (метрика T) и определить, не нужно ли вмешаться в процесс, если метрики S и B занимают слишком много времени — например, предоставить тестировщику ресурсы для сокращения подготовительной работы. Чем больше времени в сессии занимает T-метрика, тем меньше багов было в исследуемом функционале, или подготовка прошла очень быстро.

К другим метрикам SBTM относятся:

  • Количество проведенных сессий.
  • Количество найденных дефектов.
  • Протестированные функциональные области продукта.
  • Время, потраченное на тестирование функционала, не относящегося к миссии сессии. Тут важно отметить, что в исследовательском тестировании такие отклонения поощряются — если в процессе тестирования была найдена важная проблема, не относящаяся к текущей миссии, это вполне нормально. Но из общего времени T это время вычитается.
  • Количество тестировщиков, участвующих в сессии.

Структура отчета

  • Миссия сессии и функционал, который тестировался
  • Имя тестировщика
  • Дата и время начала сессии
  • Задачи (TBS-метрики):
    • Общая длительность
    • Время на подготовку
    • Время на тестирование
    • Время на изучение и регистрацию дефектов
  • Данные для тестирования
  • Заметки
  • Вопросы и проблемы
  • Найденные дефекты

Обсуждение отчета

После сессии (или нескольких сессий, в зависимости от опытности тестировщика) менеджер и тестировщик обсуждают результаты сессии с целью оценить процесс тестирования и определить, не нуждается ли формулировка миссии в модификациях. Пример чек-листа для такого обсуждения представлен в разделе «Полезные ссылки».

Полезные ссылки: